操作方法：Python爬虫学习第二章-2-使用requests模块实现网页采集器

　　Python爬虫学习的第二章-使用请求模块实现网页采集器

　　Python爬虫学习的第二章-使用请求模块实现网页采集器

　　此部分使用请求来抓取与搜狗中指定字词（即网页采集器）相对应的搜索结果页

　　1、首先介绍防爬机制和防爬策略：

　　防爬升机制和防爬升策略：UA（用户代理：请求载体的身份。如果请求是由浏览器发起的，则当前请求载体的身份就是浏览器； request.get方法也可以发起请求。这时，请求载体的身份不再是浏览器，而是爬虫）

　　以后必须在每种情况下应用UA伪装

　　2、网页代码采集器：

　　import requests

if __name__=="__main__":

#step1：指定url并进行UA伪装

#进行UA伪装：将对应的User-Agent封装到一个字典中,headers参数作用在get方法中，是get方法的参数,此处用的User-Agent是谷歌浏览器，也就是伪装成了谷歌浏览器

url = 'https://www.sogou.com/web?'

headers = {

'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'

}

#处理url携带的参数：将url所携带的参数封装到字典中

kw = input('enter a word:')

param = {

'query':kw

}

#step2：发起请求

#对指定的url发起的请求对应的url是携带参数的，并且的请求过程中处理了参数

response=requests.get(url = url,params=param,headers=headers) #params表示参数，动态拼接参数，headers表示UA伪装，此处是伪装成谷歌浏览器

#step3：获取数据

page_text = response.text

#step4:持久化存储 注意存储代码的写法

filename = kw+'.html'

with open(filename,'w',encoding='utf-8') as fp:

fp.write(page_text)

print(filename,'保存成功')

　　请注意with with open的使用：with open用于打开本地文件。处理完文件后，该文件将自动关闭，而无需手动编写close（）。

　　在此处查看一些博客文章：

　　“您了解open和open的用法吗？”

　　“如何与open（）一起使用”

　　“如何在打开时使用”