excel抓取多页网页数据(实战演练：通过Python编写一个拉勾网薪资调查的小爬虫)

　　excel抓取多页网页数据(实战演练：通过Python编写一个拉勾网薪资调查的小爬虫)

　　学习Python有一段时间了，对各种理论知识都略知一二。今天进入实战练习：用Python写一个拉狗工资调查的小爬虫。

　　第一步：分析网站的请求流程

　　当我们在拉狗网看招聘信息时，我们搜索Python，或者PHP等职位信息。实际上，我们向服务器发送相应的请求，服务器会动态响应请求并通过浏览器解析出我们需要的内容。呈现在我们面前。

　　可以看出，在我们发送的请求中，FormData中的kd参数代表了向服务器请求关键词获取Python招聘信息。

　　分析复杂的页面请求和响应信息，推荐使用Fiddler，绝对是分析网站的杀手锏。不过对于比较简单的响应请求，可以使用浏览器自带的开发者工具，比如火狐的FireBug等，只要轻轻按F12，所有请求的信息都会详细的展现在你面前。

　　通过分析网站的请求和响应过程可以看出，拉狗网的招聘信息是由XHR动态传递的。

　　我们发现有两个 POST 请求，companyAjax.json 和 positionAjax.json，分别控制当前显示的页面和页面中收录的职位信息。

　　可以看到我们需要的信息收录在positionAjax.json的Content->result中，其中还收录了一些其他的参数信息，包括总页数（totalPageCount）、招聘注册总数（totalCount）和其他相关信息。

　　第 2 步：发送请求以获取页面

　　知道我们想要在哪里获取信息是最重要的。在知道了信息的位置之后，我们需要考虑如何通过 Python 模拟浏览器来获取我们需要的信息。

　　def read_page(url, page_num, keyword): # 模仿浏览器post请求信息，读取返回的页面信息 page_headers = { 'Host': '', 'User-Agent': 'Mozilla/5. 0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ''Chrome/45.0.2454. 85 Safari/537.36 115Browser/6.0.3', '连接': 'keep-alive'} ifpage_num == 1: boo = 'true'否则: boo = ' false'page_data = parse.urlencode([ #通过页面分析发现浏览器提交的FormData收录以下参数('first', boo), ('pn', page_num), ('kd', keyword ) ] ) req = request.Request(url, headers=page_headers) page = request.urlopen(req,data=page_data.encode('utf-8')).read() page = page.decode('utf-8') returnpage

　　比较关键的步骤之一是如何模仿浏览器的 Post 方法来包装我们自己的请求。

　　请求中收录的参数包括要爬取的网页的 URL 和用于伪装的 headers。urlopen中的data参数包括FormData的三个参数（first、pn、kd）

　　打包完成后，就可以像浏览器一样访问拉狗网，获取页面数据。

　　第 3 步：获取所需内容并获取数据

　　获取到页面信息后，我们就可以开始爬取数据中最重要的一步了：爬取数据。

　　抓取数据的方式有很多，比如正则表达式re，lxml的etree，json，bs4的BeautifulSoup都是python3抓取数据的适用方式。您可以根据实际情况使用其中一种，也可以组合使用。

　　def read_tag(page, tag): page_json = json.loads(page) page_json = page_json['content']['result'] #通过分析获取到的json信息，可以看出返回结果中收录招聘信息, 其中收录很多其他参数 page_result = [num fornum inrange(15)] # 构造一个容量为15的占位符列表构造下一个二维数组 fori inrange(15): page_result[ i ] = [] # 构造一个二维数组 forpage_tag intag: page_result[i].append(page_json[i].get(page_tag)) # 遍历参数，放在同一个列表中 page_result[i][8] = ' ,'.join(page_result[i][8]) returnpage_result # 返回当前页面的job信息

　　第 4 步：将捕获的信息存储在 Excel 中

　　获取到原创数据后，为了进一步的整理和分析，我们将抓取到的数据以结构化、有条理的方式存储在excel中，方便数据可视化。

　　这里我使用了两个不同的框架，旧的 xlwt.Workbook 和 xlsxwriter。

　　def save_excel(fin_result, tag_name, file_name): book = Workbook(encoding='utf-8') tmp = book.add_sheet('sheet') times = len(fin_result)+1fori inrange(times): # i 代表 Line , i+1 代表行头信息 ifi == 0: fortag_name_i intag_name: tmp.write(i, tag_name.index(tag_name_i), tag_name_i) else: fortag_list inrange(len(tag_name)): tmp.write(i , tag_list , str(fin_result[i-1][tag_list])) book.save(r'C:\Users\Administrator\Desktop\%s.xls'% file_name)

　　第一个是xlwt，不知道为什么，xlwt存储了100多条数据后会不完整，excel文件也会出现“部分内容有问题需要修复”我查了很多遍，一开始以为是数据采集不完整，导致存储问题。经过断点检查，发现数据完整。后来改本地数据处理，也没问题。这就是我当时的感受：

　　到现在还没想通，知道希望的可以告诉我ლ(╹ε╹ლ)

　　def save_excel(fin_result, tag_name, file_name): # 将抓取的招聘信息存储在excel book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls'% file_name) # 默认存储在桌面tmp = book.add_worksheet() row_num = len(fin_result) fori inrange(1, row_num): ifi == 1: tag_pos = 'A%s'% i tmp.write_row(tag_pos, tag_name) else: con_pos = 'A%s' % i content = fin_result[i-1] # -1 被表头占用 tmp.write_row(con_pos, content) book.close()

　　这是使用xlsxwriter存储的数据，没有问题，可以正常使用。

　　直到现在，一个抓取拉狗网招聘信息的小爬虫诞生了。

　　附上源代码

　　#！-*-coding:utf-8-*- from urllib import request, parse from bs4 import BeautifulSoup as BS import json import datetime import xlsxwriter starttime = datetime. 约会时间。现在（） url = r'。拉古。com/jobs/positionAjax。json?city=%E5%8C%97%E4%BA%AC'#钩网招聘信息是动态获取的，需要通过post方式提交json信息。默认城市为北京 tag = ['companyName', 'companyShortName', 'positionName', 'education', 'salary', 'financeStage', 'companySize', 'industryField', 'companyLabelList'] #这是标签信息需要抓取的，包括公司名称、*敏*感*词*要求、薪资等。 tag_name = ['公司名称', '公司简称', '职位', '

　　拉古。com', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ''Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3', 'Connection': 'keep-alive'} ifpage_num == 1: boo = 'true' else: boo = 'false' page_data = parse.urlencode([ #通过页面分析，发现浏览器提交的FormData收录以下内容参数 ('first', boo), ('pn', page_num), ('kd', keyword) ]) req = request.Request(url, headers=page_headers) page = request.urlopen(req, data=page_data. encode('utf-8')).read() page = page.decode('utf-8') return page def read_tag(page, tag): page_json = json.

　　load(page) page_json = page_json['content']['result'] #通过分析获取到的json信息，可以看到返回结果中收录招聘信息，其中还收录很多其他参数 page_result = [num fornum inrange (15)] # 构造一个容量为15的list占位符构造下一个二维数组 fori inrange(15): page_result[i] = [] #构造一个二维数组forpage_tag intag: page_result[i].append(page_json[i].get(page_tag)) # 遍历参数，放在同一个列表中 page_result[i][8] = ','.join(page_result[i][ 8] ) returnpage_result # 返回当前页面的招聘信息 def read_max_page(page): # 获取当前招聘的最大页数 关键词,大于30的会被覆盖，所以最多只能获取30页的招聘信息 page_json = json.loads(page) max_page_num = page_json['content']['totalPageCount'] ifmax_page_num > 30: max_page_num = 30returnmax_page_num def save_excel (fin_result, tag_name, file_name): # 将抓取的招聘信息存储在excel book = xlsxwriter.

　　Workbook(r'C:\Users\Administrator\Desktop\%s.xls'% file_name) # 默认存储在桌面 tmp = book. add_worksheet() row_num = len(fin_result) fori inrange(1, row_num): ifi == 1: tag_pos = 'A%s'% i tmp. write_row(tag_pos, tag_name) else: con_pos = 'A%s'% i content = fin_result[i-1] # -1是因为tmp被表头占用了。write_row(con_pos, content) 书。close() if__name__ == '__main__': print('********************************** 即将被抓到 Take ************************************') keyword = input('请输入语言type :') fin_result = [] # 将每一页的招聘信息聚合成一个最终的招聘信息 max_page_num = read_max_page(read_page(url, 1, keyword)) forpage_num inrange(1, max_page_num): print('

　　extend(page_result) file_name = input('捕获完成，保存输入文件名：') save_excel(fin_result, tag_name, file_name) endtime = datetime. 约会时间。现在（）时间=（结束时间 - 开始时间）。seconds print('总时间: %s s'% time)

　　还有很*敏*感*词*可以添加，比如通过修改城市参数来查看不同城市的招聘信息等，大家可以自己开发，这只是为了吸引别人，欢迎交流，请注明转载来源~(^_^)/~~