excel抓取网页动态数据(通过Python来一个拉勾网薪资调查的小爬虫(组图))

　　excel抓取网页动态数据(通过Python来一个拉勾网薪资调查的小爬虫(组图))

　　学习Python有一段时间了，对各种理论知识都略知一二。今天进入实战练习：用Python写一个拉狗工资调查的小爬虫。Step 1：分析网站的请求流程当我们查看拉狗网的招聘信息时

　　强烈推荐IDEA2021.1.3破解激活，IntelliJ IDEA注册码，2021.1.3IDEA激活码

　　大家好，我是建筑师，一个会写代码，会背诗的建筑师。今天就来说说“拉狗网”薪资调查的小爬虫，并将爬取结果保存在excel中，希望能帮助大家提高！！！

　　学习Python有一段时间了，对各种理论知识都略知一二。今天进入实战练习：用Python写一个拉狗工资调查的小爬虫。

　　第一步：分析网站的请求流程

　　当我们在拉狗网看招聘信息时，我们搜索Python，或者PHP等职位信息。实际上，我们向服务器发送相应的请求，服务器会动态响应请求并通过浏览器解析出我们需要的内容。呈现在我们面前。

　　

　　可以看出，在我们发送的请求中，FormData中的kd参数代表了向服务器请求关键词获取Python招聘信息。

　　分析复杂的页面请求和响应信息，推荐使用Fiddler，绝对是分析网站的杀手锏。不过对于比较简单的响应请求，可以使用浏览器自带的开发者工具，比如火狐的FireBug等，只要轻轻按F12，所有请求的信息都会详细的展现在你面前。

　　通过分析网站的请求和响应过程可以看出，拉狗网的招聘信息是由XHR动态传递的。

　　

　　我们发现有两个 POST 请求，companyAjax.json 和 positionAjax.json，分别控制当前显示的页面和页面中收录的职位信息。

　　

　　可以看到我们需要的信息收录在positionAjax.json的Content->result中，其中还收录了一些其他的参数信息，包括总页数（totalPageCount）、招聘注册总数（totalCount）和其他相关信息。

　　第 2 步：发送请求以获取页面

　　知道我们想要在哪里获取信息是最重要的。在知道了信息的位置之后，我们需要考虑如何通过 Python 模拟浏览器来获取我们需要的信息。

　　 1 def read_page(url, page_num, keyword): # 模仿浏览器post需求信息，并读取返回后的页面信息

2 page_headers = { 3 'Host': 'www.lagou.com', 4 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '

5 'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3', 6 'Connection': 'keep-alive'

7 } 8 if page_num == 1: 9 boo = 'true'

10 else: 11 boo = 'false'

12 page_data = parse.urlencode([ # 通过页面分析，发现浏览器提交的FormData包括以下参数

13 ('first', boo), 14 ('pn', page_num), 15 ('kd', keyword) 16 ]) 17 req = request.Request(url, headers=page_headers) 18 page = request.urlopen(req, data=page_data.encode('utf-8')).read() 19 page = page.decode('utf-8') 20 return page

　　只听山间传来建筑师的声音：

　　陆希的明朝更加低迷，人死了，什么时候回来。谁将向上或向下匹配？

　　关键步骤是如何模仿浏览器的 Post 方法来包装我们自己的请求。

　　请求中收录的参数包括要爬取的网页的 URL 和用于伪装的 headers。urlopen中的data参数包括FormData的三个参数（first、pn、kd）

　　打包完成后，就可以像浏览器一样访问拉狗网，获取页面数据。

　　第 3 步：获取所需内容并获取数据

　　获取到页面信息后，我们就可以开始爬取数据中最重要的一步了：爬取数据。

　　获取数据的方式有很多，比如正则表达式re、lxml的etree、json、bs4的BeautifulSoup都是python3获取数据的适用方法。您可以根据实际情况使用其中一种，也可以组合使用。

　　此代码由Java架构师必看网-架构君整理

1 def read_tag(page, tag): 2 page_json = json.loads(page) 3 page_json = page_json['content']['result'] 4 # 通过分析获取的json信息可知，招聘信息包含在返回的result当中，其中包含了许多其他参数

5 page_result = [num for num in range(15)] # 构造一个容量为15的占位list，用以构造接下来的二维数组

6 for i in range(15): 7 page_result[i] = [] # 构造二维数组

8 for page_tag in tag: 9 page_result[i].append(page_json[i].get(page_tag)) # 遍历参数，将它们放置在同一个list当中

10 page_result[i][8] = ','.join(page_result[i][8]) 11 return page_result # 返回当前页的招聘信息

　　第四步：将采集到的信息存入excel

　　获取原创数据后，为了进一步的整理和分析，我们将抓取到的数据以结构化、有条理的方式存储在excel中，方便数据可视化。

　　这里我使用了两个不同的框架，旧的 xlwt.Workbook 和 xlsxwriter。

　　 1 def save_excel(fin_result, tag_name, file_name): 2 book = Workbook(encoding='utf-8') 3 tmp = book.add_sheet('sheet') 4 times = len(fin_result)+1

5 for i in range(times): # i代表的是行,i+1代表的是行首信息

6 if i == 0: 7 for tag_name_i in tag_name: 8 tmp.write(i, tag_name.index(tag_name_i), tag_name_i) 9 else: 10 for tag_list in range(len(tag_name)): 11 tmp.write(i, tag_list, str(fin_result[i-1][tag_list])) 12 book.save(r'C:\Users\Administrator\Desktop\%s.xls' % file_name)

　　第一个是xlwt，不知道为什么，xlwt存储了100多条数据后，存储不全，excel文件也会出现“部分内容错误，需要修复”我查了很多次，一开始我以为是数据采集不完整，导致存储问题。经过断点检查，发现数据完整。后来改本地数据处理，也没问题。这就是我当时的感受：

　　

　　到现在还没想通，知道希望的可以告诉我ლ(╹ε╹ლ)

　　此代码由Java架构师必看网-架构君整理

1 def save_excel(fin_result, tag_name, file_name): # 将抓取到的招聘信息存储到excel当中

2 book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls' % file_name) # 默认存储在桌面上

3 tmp = book.add_worksheet() 4 row_num = len(fin_result) 5 for i in range(1, row_num): 6 if i == 1: 7 tag_pos = 'A%s' % i 8 tmp.write_row(tag_pos, tag_name) 9 else: 10 con_pos = 'A%s' % i 11 content = fin_result[i-1] # -1是因为被表格的表头所占

12 tmp.write_row(con_pos, content) 13 book.close()

　　这是使用xlsxwriter存储的数据，没有问题，可以正常使用。

　　直到现在，一个抓取拉狗网招聘信息的小爬虫诞生了。

　　附上源代码

　　 1 #! -*-coding:utf-8 -*-

2

3 from urllib import request, parse 4 from bs4 import BeautifulSoup as BS 5 import json 6 import datetime 7 import xlsxwriter 8

9 starttime = datetime.datetime.now() 10

11 url = r'http://www.lagou.com/jobs/positionAjax.json?city=%E5%8C%97%E4%BA%AC'

12 # 拉钩网的招聘信息都是动态获取的，所以需要通过post来递交json信息，默认城市为北京

13

14 tag = ['companyName', 'companyShortName', 'positionName', 'education', 'salary', 'financeStage', 'companySize', 15 'industryField', 'companyLabelList'] # 这是需要抓取的标签信息，包括公司名称，*敏*感*词*要求，薪资等等

16

17 tag_name = ['公司名称', '公司简称', '职位名称', '所需*敏*感*词*', '工资', '公司资质', '公司规模', '所属类别', '公司介绍'] 18

19

20 def read_page(url, page_num, keyword): # 模仿浏览器post需求信息，并读取返回后的页面信息

21 page_headers = { 22 'Host': 'www.lagou.com', 23 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '

24 'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3', 25 'Connection': 'keep-alive'

26 } 27 if page_num == 1: 28 boo = 'true'

29 else: 30 boo = 'false'

31 page_data = parse.urlencode([ # 通过页面分析，发现浏览器提交的FormData包括以下参数

32 ('first', boo), 33 ('pn', page_num), 34 ('kd', keyword) 35 ]) 36 req = request.Request(url, headers=page_headers) 37 page = request.urlopen(req, data=page_data.encode('utf-8')).read() 38 page = page.decode('utf-8') 39 return page 40

41

42 def read_tag(page, tag): 43 page_json = json.loads(page) 44 page_json = page_json['content']['result'] # 通过分析获取的json信息可知，招聘信息包含在返回的result当中，其中包含了许多其他参数

45 page_result = [num for num in range(15)] # 构造一个容量为15的list占位，用以构造接下来的二维数组

46 for i in range(15): 47 page_result[i] = [] # 构造二维数组

48 for page_tag in tag: 49 page_result[i].append(page_json[i].get(page_tag)) # 遍历参数，将它们放置在同一个list当中

50 page_result[i][8] = ','.join(page_result[i][8]) 51 return page_result # 返回当前页的招聘信息

52

53

54 def read_max_page(page): # 获取当前招聘关键词的最大页数，大于30的将会被覆盖，所以最多只能抓取30页的招聘信息

55 page_json = json.loads(page) 56 max_page_num = page_json['content']['totalPageCount'] 57 if max_page_num > 30: 58 max_page_num = 30

59 return max_page_num 60

61

62 def save_excel(fin_result, tag_name, file_name): # 将抓取到的招聘信息存储到excel当中

63 book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls' % file_name) # 默认存储在桌面上

64 tmp = book.add_worksheet() 65 row_num = len(fin_result) 66 for i in range(1, row_num): 67 if i == 1: 68 tag_pos = 'A%s' % i 69 tmp.write_row(tag_pos, tag_name) 70 else: 71 con_pos = 'A%s' % i 72 content = fin_result[i-1] # -1是因为被表格的表头所占

73 tmp.write_row(con_pos, content) 74 book.close() 75

76

77 if __name__ == '__main__': 78 print('**********************************即将进行抓取**********************************') 79 keyword = input('请输入您要搜索的语言类型：') 80 fin_result = [] # 将每页的招聘信息汇总成一个最终的招聘信息

81 max_page_num = read_max_page(read_page(url, 1, keyword)) 82 for page_num in range(1, max_page_num): 83 print('******************************正在下载第%s页内容*********************************' % page_num) 84 page = read_page(url, page_num, keyword) 85 page_result = read_tag(page, tag) 86 fin_result.extend(page_result) 87 file_name = input('抓取完成，输入文件名保存：') 88 save_excel(fin_result, tag_name, file_name) 89 endtime = datetime.datetime.now() 90 time = (endtime - starttime).seconds 91 print('总共用时：%s s' % time)

　　还有很*敏*感*词*可以添加，比如通过修改城市参数来查看不同城市的招聘信息等，大家可以自己开发，这只是为了吸引别人，欢迎交流，请注明转载来源~(^_^)/~~