输入关键字 抓取所有网页(学到python模块获取一下百度搜索结果页的html文件html)

　　输入关键字 抓取所有网页(学到python模块获取一下百度搜索结果页的html文件html)

　　昨天学习了python的requests模块。我准备好百度搜索的结果，然后打开相关链接。拿到get()的结果页的时候就搞不定了。

　　keyword=input('输入要搜索的关键字：')

　　res=requests.get(')

　　取出来的html文件是这样的

location.replace(location.href.replace("https://","http://"));

　　查了别人的解决方法，还是不太明白，最后请朋友解决。

　　原因是一开始的请求消息中没有浏览器信息，百度不识别，所以不响应。

　　添加一个标题来写入浏览器信息：

　　headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.80 Safari/537.36'}

　　res = requests.get(')

　　获取标题的方法：

　　打开浏览器（我用谷歌，其他的应该是一样的），F12，发送请求，然后得到User-Agent如下图

　　只需要在参数中加上headers，然后发送请求就可以成功获取百度搜索结果页面的html，截掉一部分

　　如果有什么不对的，欢迎大家指正