输入关键字 抓取所有网页(【闺蜜体验团】反爬网站中的本文-Agent )

　　输入关键字 抓取所有网页(【闺蜜体验团】反爬网站中的本文-Agent

)

　　这篇文章的目的是简单地根据所选浏览器页面上的关键字抓取你想要的信息。关键是跳过反爬网页的反爬机制。

　　使用UA伪装

　　我们利用爬取的网站中的User-Agent进行伪装，让它认为我们是自己的一部分，这样我们就可以成功爬取到我们需要的信息。

　　打开要爬取的页面，在键盘上按F12，如下图：

　　代码模块

　　import requests

if __name__ == '__main__':

# UA伪装

header = {

'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36'

}

# 1.指定url

url = "https://www.sogou.com/web?"

kw = input("请输入关键字：")

param = {

'query' : kw

}

# 2.发送请求

response = requests.get(url=url,params=param,headers=header)

#数据获取

html = response.text

print(html)

response.encoding = 'utf-8'

fileName = kw + '.html'

with open(fileName,'w',encoding='utf-8') as f:

f.write(html)

print("页面获取成功！！！！")