百度网页关键字抓取( Excel教程Excel函数Excel表格制作Excel2010Excel实用技巧Excel视频教程)

　　百度网页关键字抓取(

Excel教程Excel函数Excel表格制作Excel2010Excel实用技巧Excel视频教程)

　　HTTP协议请求实践——获取请求示例捕获百度搜索关键词对应网页信息

　　1通过分析搜索关键词对应的URL，发现URL中有字段名和内容，URL可以简化为关键词

　　根据分析的规律，我们可以通过构造get请求并使用爬虫在百度上自动查询关键词查询@

　　代码如下：

　　import urllib.request 导入urllib.request

keywd = '高同同' 指定关键词

keywd_cod = urllib.request.quote(keywd)将关键词进行编码

url = 'https://www.baidu.com/s?wd='输入网址

url_all = url +keywd_cod构造出最终抓取网址

req =urllib.request.Request(url)使用urllib.request.Request构造一个Request对象并赋给变量req

data = urllib.request.urlopen(req).read()通过url.request.urlopen()打开对应的Request对象

fandle = open('D:/siq/part4/10.html','wb')

fandle.write(data)

将爬去的内容写到一个html文件中

fandle.close()结束

思路总结：

1构建对应的url地址，该url包含get请求的字段名称及字段内容等信息并且url地址满足get请求格式“http://网址？字段名1=字段内容1&字段名2=字段内容2”

2以对应的url为参数，构建request对象

3通过urlopen()打开构建的request对象

4读取内容并保存

　　发布日期：2017-07-20 21:39单独阅读412阅读（1718)Comments（0)editor）