python网页数据抓取(STM32获取cookie的验证方法及使用方法)
优采云 发布时间: 2021-11-21 13:26python网页数据抓取(STM32获取cookie的验证方法及使用方法)
注:以下代码已在python3.8环境下验证运行,可直接复制粘贴
import requests
requests.packages.urllib3.disable_warnings()
url = "https://www.baidu.com"
Hostreferer = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36'
}
html = requests.get(url, headers=Hostreferer, verify=False)
#第一种方法
if html.status_code == 200:
print(html.cookies)
#第二种方法
for cookie in html.cookies:
print(str(cookie.name)+"="+str(cookie.value))
以下是解释:
1.requests是我们需要获取cookies的python模块包,安装python运行环境后无需单独安装即可调用
2.requests.packages.urllib3.disable_warnings() 用于消除部分网站会报错
3.url ="",这里填写网站我们要获取cookie的地址
4.html = requests.get(url, headers=Hostreferer, verify=False)
这句话是标准的cookies获取方式
hostreferer 是浏览器的头文件,适用于所有浏览器,verify=False 表示不需要严格的验证方法
后两种方法中,方法一是在网站返回正常响应200后输出所有cookie信息
方法二是选择性输出cookie中name和value字段的cookie信息
这里是谷歌浏览器查看cookie信息的方法,运行上述python代码即可验证。