网页采集器的自动识别算法(UA-Agent(请求载体的身份标识)成功 )

　　网页采集器的自动识别算法(UA-Agent(请求载体的身份标识)成功

)

　　UA

　　1、UA : User-Agent（请求载体的标识）

　　2、UA检测：门户网站的服务器会检测相应请求的运营商身份。如果检测到请求的运营商标识为某个浏览器，则说明该请求是正常请求，但如果检测到请求的运营商标识不是基于某个浏览器，则说明该请求是异常的请求（爬虫），服务器很可能拒绝该请求

　　3、UA伪装：让爬虫对应的请求载体身份伪装成浏览器

　　# 网页采集器

import requests

# UA ：User-Agent(请求载体的身份标识)

# UA检测：门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的载体身份标识为某一款浏览器，说明该请求是一个正常的请求，

# 但是如果检测到请求的载体身份标识不是基于某一款浏览器，则表示该请求为不正常的请求（爬虫），则服务器端很可能会拒绝该请求

# UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器

if __name__ == '__main__':

# UA伪装：将对应的请求载体身份标识伪装成某一款浏览器

headers = {

'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36 Edg/97.0.1072.69'

}

# 指定url

url = 'https://www.sogou.com/web'

# 处理url携带的参数: 封装到字典中

kw = input('enter a word')

param = {

'query': kw

}

# 发送请求（携带参数）

response = requests.get(url=url,params=param,headers=headers)

# 获取响应数据

page_text = response.text

fileName = kw + '.html'

print(page_text)

# 持久化存储

with open(fileName, 'w', encoding='utf-8') as fp:

fp.write(page_text)

print(fileName,'保存成功。。。')

　　成功：