爬虫抓取网页数据( 实战演练：通过Python编写一个拉勾网薪资调查的小爬虫)

　　爬虫抓取网页数据(

实战演练：通过Python编写一个拉勾网薪资调查的小爬虫)

　　Python制作爬虫并将爬取结果保存到excel

　　学Python有一阵子了，各种理论知识也算一二。今天进入实战练习：用Python写一个小爬虫做拉勾工资调查。

　　第一步：分析网站的请求过程

　　当我们在拉勾网查看招聘信息时，我们会搜索 Python 或 PHP 等职位信息。实际上，我们向服务器发送了相应的请求。服务器动态响应请求，通过浏览器解析我们需要的内容。呈现在我们面前。

　　

　　可以看到，在我们发送的请求中，FormData中的kd参数代表了服务器对关键词的Python招聘信息的请求。

　　分析更复杂的页面请求和响应信息，推荐使用Fiddler，绝对是分析网站的杀手锏。但是，你可以简单地使用浏览器自带的开发者工具响应请求，比如火狐的FireBug等，只要按F12，所有请求的信息都会详细的显示在你面前。

　　通过对网站的请求和响应过程的分析可知，拉勾网的招聘信息是由XHR动态传输的。

　　

　　我们发现POST发送了两个请求，分别是companyAjax.json和positionAjax.json，分别控制当前显示的页面和页面中收录的招聘信息。

　　

　　可以看到，我们需要的信息收录在positionAjax.json的Content->result中，其中还收录了一些其他的参数信息，包括总页数（totalPageCount）、招聘注册总数（totalCount）和其他相关信息。

　　第二步：发送请求并获取页面

　　知道我们想要获取的信息在哪里是最重要的。知道了信息的位置后，接下来就要考虑如何通过Python模拟浏览器来获取我们需要的信息了。

　　def read_page(url, page_num, keyword): #模仿浏览器的post需求信息，返回后读取页面信息

　　page_headers = {

　　'主机':'#39;,

　　'用户代理':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)'

　　'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',

　　'连接'：'保持活动'

　　}

　　如果 page_num == 1：

　　boo ='真'

　　别的：

　　boo ='假'

　　page_data = parse.urlencode([ #通过页面分析发现浏览器提交的FormData收录如下参数

　　（'第一'，嘘），

　　('pn', page_num),

　　('kd', 关键字)

　　])

　　req = request.Request(url, headers=page_headers)

　　page = request.urlopen(req, data=page_data.encode('utf-8')).read()

　　page = page.decode('utf-8')

　　返回页

　　比较关键的步骤之一是如何模仿浏览器的Post方法来打包我们自己的请求。

　　请求中收录的参数包括要爬取的网页的URL，以及用于伪装的headers。urlopen中的data参数包括FormData的三个参数（first, pn, kd）

　　打包后可以像浏览器一样访问拉勾网，获取页面数据。

　　第 3 步：获取所需内容并获取数据

　　获取到页面信息后，我们就可以开始爬取数据最重要的一步：爬取数据了。

　　捕获数据的方式有很多种，比如正则表达式re，lxml的etree，json，bs4的BeautifulSoup都是python3适用的捕获数据的方法。可以根据实际情况使用其中一种，也可以多种组合使用。

　　def read_tag（页面，标签）：

　　page_json = json.loads(page)

　　page_json = page_json['内容']['结果']

　　# 通过分析得到的json信息，可以看到返回的结果中收录了招聘信息，其中收录了很多其他的参数

　　page_result = [num for num in range(15)] # 构造一个容量为15的占位符列表来构造下一个二维数组

　　对于范围内的 i(15):

　　page_result[i] = [] # 构造一个二维数组

　　对于标签中的 page_tag：

　　page_result[i].append(page_json[i].get(page_tag)) # 遍历参数并将它们放在同一个列表中

　　page_result[i][8]=','.join(page_result[i][8])

　　return page_result # 返回当前页面的招聘信息

　　步骤4：将捕获的信息存储在excel中

　　获取原创数据后，为了进一步的整理和分析，我们将采集到的数据在excel中进行了结构化和组织化的存储，方便数据的可视化。

　　这里我使用了两个不同的框架，分别是旧的 xlwt.Workbook 和 xlsxwriter。

　　def save_excel(fin_result, tag_name, file_name):

　　book = Workbook(encoding='utf-8')

　　tmp = book.add_sheet('sheet')

　　时间 = len(fin_result)+1

　　for i in range(times): # i 代表行，i+1 代表行首的信息

　　如果我 == 0：

　　对于 tag_name 中的 tag_name_i：

　　tmp.write(i, tag_name.index(tag_name_i), tag_name_i)

　　别的：

　　对于范围内的 tag_list(len(tag_name))：

　　tmp.write(i, tag_list, str(fin_result[i-1][tag_list]))

　　book.save(r'C:\Users\Administrator\Desktop\%s.xls'% file_name)

　　第一个是xlwt。我不知道为什么。xlwt存储100多条数据后，存储不完整，excel文件也会出现“某些内容有问题，需要修复”。查了很多次，一开始还以为是数据抓取。不完整会导致存储问题。后来断点检查发现数据是完整的。后来把本地数据改过来处理，也没问题。我当时的心情是这样的：

　　

　　我到现在都没搞清楚。知道的人希望告诉我ლ(╹ε╹ლ)

　　def save_excel(fin_result, tag_name, file_name): # 将抓到的招聘信息存入excel

　　book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls'% file_name) # 默认保存在桌面

　　tmp = book.add_worksheet()

　　row_num = len(fin_result)

　　对于范围内的 i (1, row_num)：

　　如果我 == 1：

　　tag_pos ='A%s'% i

　　tmp.write_row(tag_pos, tag_name)

　　别的：

　　con_pos ='A%s'% i

　　content = fin_result[i-1] # -1 是因为被表头占用了

　　tmp.write_row（con_pos，内容）

　　book.close()

　　这是使用xlsxwriter存储的数据，没有问题，可以正常使用。

　　至此，一个抓取拉勾网招聘信息的小爬虫诞生了。

　　附上源代码

　　#！-*-编码：utf-8 -*-

　　从 urllib 导入请求，解析

　　从 bs4 导入 BeautifulSoup 作为 BS

　　导入json

　　导入日期时间

　　导入 xlsxwriter

　　开始时间 = datetime.datetime.now()

　　url = r'/jobs/positionAjax.json?city=%E5%8C%97%E4%BA%AC'

　　# 拉勾网招聘信息是动态获取的，所以需要通过post方式提交json信息。默认城市是北京

　　tag = ['companyName','companyShortName','positionName','education','salary','financeStage','companySize',

　　'industryField','companyLabelList'] # 这是需要抓取的标签信息，包括公司名称、*敏*感*词*要求、薪资等。

　　tag_name = ['公司名称','公司简称','职位名称','*敏*感*词*要求','薪资','公司资质','公司规模','类别','公司介绍']

　　def read_page(url, page_num, keyword): #模仿浏览器的post需求信息，返回后读取页面信息

　　page_headers = {

　　'主机':'#39;,

　　'用户代理':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)'

　　'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',

　　'连接'：'保持活动'

　　}

　　如果 page_num == 1：

　　boo ='真'

　　别的：

　　boo ='假'

　　page_data = parse.urlencode([ #通过页面分析发现浏览器提交的FormData收录如下参数

　　（'第一'，嘘），

　　('pn', page_num),

　　('kd', 关键字)

　　])

　　req = request.Request(url, headers=page_headers)

　　page = request.urlopen(req, data=page_data.encode('utf-8')).read()

　　page = page.decode('utf-8')

　　返回页

　　def read_tag（页面，标签）：

　　page_json = json.loads(page)

　　page_json = page_json['content']['result'] #通过分析得到的json信息，可以看到返回的结果中收录招聘信息，其中收录很多其他参数

　　page_result = [num for num in range(15)] # 构造一个容量为15的列表占位符来构造下一个二维数组

　　对于范围内的 i(15):

　　page_result[i] = [] # 构造一个二维数组

　　对于标签中的 page_tag：

　　page_result[i].append(page_json[i].get(page_tag)) # 遍历参数并将它们放在同一个列表中

　　page_result[i][8]=','.join(page_result[i][8])

　　return page_result # 返回当前页面的招聘信息

　　def read_max_page(page): # 获取当前招聘的最大页数关键词，大于30的会被覆盖，所以最多只能抓取30页的招聘信息

　　page_json = json.loads(page)

　　max_page_num = page_json['content']['totalPageCount']

　　如果 max_page_num> 30：

　　max_page_num = 30

　　返回 max_page_num

　　def save_excel(fin_result, tag_name, file_name): # 将抓到的招聘信息存入excel

　　book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls'% file_name) # 默认保存在桌面

　　tmp = book.add_worksheet()

　　row_num = len(fin_result)

　　对于范围内的 i (1, row_num)：

　　如果我 == 1：

　　tag_pos ='A%s'% i

　　tmp.write_row(tag_pos, tag_name)

　　别的：

　　con_pos ='A%s'% i

　　content = fin_result[i-1] # -1 是因为被表头占用了

　　tmp.write_row（con_pos，内容）

　　book.close()

　　如果 __name__ =='__main__'：

　　print('**************************************** 即将被抓取******** * *****************************')

　　keyword = input('请输入您要搜索的语言类型：')

　　fin_result = [] # 将各个页面的招聘信息汇总成最终的招聘信息

　　max_page_num = read_max_page(read_page(url, 1, 关键字))

　　对于范围内的 page_num (1, max_page_num)：

　　print('************************************ 正在下载页面 %s ********* 的内容************************'% page_num)

　　page = read_page(url, page_num, 关键字)

　　page_result = read_tag（页面，标签）

　　fin_result.extend(page_result)

　　file_name = input('抓包完成，输入文件名保存：')

　　save_excel(fin_result, tag_name, file_name)

　　结束时间 = datetime.datetime.now()

　　时间 = (结束时间-开始时间).秒

　　print('使用的总时间：%ss'% time)

　　可以添加的功能很多，比如通过修改城市参数查看不同城市的招聘信息等，你可以自己开发，这里只是为了邀请别人