excel抓取网页动态数据(通过Python来编写一个拉勾网薪资调查的小爬虫网)

优采云 发布时间: 2022-01-27 00:13

  excel抓取网页动态数据(通过Python来编写一个拉勾网薪资调查的小爬虫网)

  学习Python有一段时间了,对各种理论知识都略知一二。今天进入实战练习:用Python写一个拉狗工资调查的小爬虫。

  第一步:分析网站的请求流程

  当我们在拉狗网看招聘信息时,我们搜索Python,或者PHP等职位信息。实际上,我们向服务器发送相应的请求,服务器会动态响应请求并通过浏览器解析出我们需要的内容。呈现在我们面前。

  可以看出,在我们发送的请求中,FormData中的kd参数代表了向服务器请求关键词获取Python招聘信息。

  分析复杂的页面请求和响应信息,推荐使用Fiddler,绝对是分析网站的杀手锏。不过对于比较简单的响应请求,可以使用浏览器自带的开发者工具,比如火狐的FireBug等,只要轻轻按F12,所有请求的信息都会详细的展现在你面前。

  通过分析网站的请求和响应过程可以看出,拉狗网的招聘信息是由XHR动态传递的。

  我们发现有两个 POST 请求,companyAjax.json 和 positionAjax.json,分别控制当前显示的页面和页面中收录的职位信息。

  可以看到我们需要的信息收录在positionAjax.json的Content->result中,其中还收录了一些其他的参数信息,包括总页数(totalPageCount)、招聘注册总数(totalCount)和其他相关信息。

  第 2 步:发送请求以获取页面

  知道我们想要在哪里获取信息是最重要的。在知道了信息的位置之后,我们需要考虑如何通过 Python 模拟浏览器来获取我们需要的信息。

   def read_page(url, page_num, keyword): # 模仿浏览器post需求信息,并读取返回后的页面信息 page_headers = { 'Host': 'www.lagou.com', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3', 'Connection': 'keep-alive' } if page_num == 1: boo = 'true' else: boo = 'false' page_data = parse.urlencode([ # 通过页面分析,发现浏览器提交的FormData包括以下参数 ('first', boo), ('pn', page_num), ('kd', keyword) ]) req = request.Request(url, headers=page_headers) page = request.urlopen(req, data=page_data.encode('utf-8')).read() page = page.decode('utf-8') return page

  关键步骤是如何模仿浏览器的 Post 方法来包装我们自己的请求。

  请求中收录的参数包括要爬取的网页的 URL 和用于伪装的 headers。urlopen中的data参数包括FormData的三个参数(first、pn、kd)

  打包完成后,就可以像浏览器一样访问拉狗网,获取页面数据。

  第 3 步:获取所需内容并获取数据

  获取到页面信息后,我们就可以开始爬取数据中最重要的一步了:爬取数据。

  抓取数据的方式有很多,比如正则表达式re,lxml的etree,json,bs4的BeautifulSoup都是python3抓取数据的适用方式。您可以根据实际情况使用其中一种,也可以组合使用。

   def read_tag(page, tag): page_json = json.loads(page) page_json = page_json['content']['result'] # 通过分析获取的json信息可知,招聘信息包含在返回的result当中,其中包含了许多其他参数 page_result = [num for num in range(15)] # 构造一个容量为15的占位list,用以构造接下来的二维数组 for i in range(15): page_result[i] = [] # 构造二维数组 for page_tag in tag: page_result[i].append(page_json[i].get(page_tag)) # 遍历参数,将它们放置在同一个list当中 page_result[i][8] = ','.join(page_result[i][8]) return page_result # 返回当前页的招聘信息

  第四步:将采集到的信息存入excel

  获取原创数据后,为了进一步的整理和分析,我们将抓取到的数据以结构化、有条理的方式存储在excel中,方便数据可视化。

  这里我使用了两个不同的框架,旧的 xlwt.Workbook 和 xlsxwriter。

   def save_excel(fin_result, tag_name, file_name): book = Workbook(encoding='utf-8') tmp = book.add_sheet('sheet') times = len(fin_result)+1 for i in range(times): # i代表的是行,i+1代表的是行首信息 if i == 0: for tag_name_i in tag_name: tmp.write(i, tag_name.index(tag_name_i), tag_name_i) else: for tag_list in range(len(tag_name)): tmp.write(i, tag_list, str(fin_result[i-1][tag_list])) book.save(r'C:\Users\Administrator\Desktop\%s.xls' % file_name)

  第一个是xlwt,不知道为什么,xlwt存储了100多条数据后,存储不全,excel文件也会出现“部分内容错误,需要修复”我查了很多次,一开始我以为是数据采集不完整,导致存储问题。经过断点检查,发现数据完整。后来改本地数据处理,也没问题。这就是我当时的感受:

  到现在还没想通,知道希望的可以告诉我ლ(╹ε╹ლ)

   def save_excel(fin_result, tag_name, file_name): # 将抓取到的招聘信息存储到excel当中 book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls' % file_name) # 默认存储在桌面上 tmp = book.add_worksheet() row_num = len(fin_result) for i in range(1, row_num): if i == 1: tag_pos = 'A%s' % i tmp.write_row(tag_pos, tag_name) else: con_pos = 'A%s' % i content = fin_result[i-1] # -1是因为被表格的表头所占 tmp.write_row(con_pos, content) book.close()

  这是使用xlsxwriter存储的数据,没有问题,可以正常使用。

  直到现在,一个抓取拉狗网招聘信息的小爬虫诞生了。

  附上源代码

   #! -*-coding:utf-8 -*- from urllib import request, parse from bs4 import BeautifulSoup as BS import json import datetime import xlsxwriter starttime = datetime.datetime.now() url = r'http://www.lagou.com/jobs/positionAjax.json?city=%E5%8C%97%E4%BA%AC' # 拉钩网的招聘信息都是动态获取的,所以需要通过post来递交json信息,默认城市为北京 tag = ['companyName', 'companyShortName', 'positionName', 'education', 'salary', 'financeStage', 'companySize', 'industryField', 'companyLabelList'] # 这是需要抓取的标签信息,包括公司名称,*敏*感*词*要求,薪资等等 tag_name = ['公司名称', '公司简称', '职位名称', '所需*敏*感*词*', '工资', '公司资质', '公司规模', '所属类别', '公司介绍'] def read_page(url, page_num, keyword): # 模仿浏览器post需求信息,并读取返回后的页面信息 page_headers = { 'Host': 'www.lagou.com', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3', 'Connection': 'keep-alive' } if page_num == 1: boo = 'true' else: boo = 'f来源gaodai$ma#com搞$$代**码网alse' page_data = parse.urlencode([ # 通过页面分析,发现浏览器提交的FormData包括以下参数 ('first', boo), ('pn', page_num), ('kd', keyword) ]) req = request.Request(url, headers=page_headers) page = request.urlopen(req, data=page_data.encode('utf-8')).read() page = page.decode('utf-8') return page def read_tag(page, tag): page_json = json.loads(page) page_json = page_json['content']['result'] # 通过分析获取的json信息可知,招聘信息包含在返回的result当中,其中包含了许多其他参数 page_result = [num for num in range(15)] # 构造一个容量为15的list占位,用以构造接下来的二维数组 for i in range(15): page_result[i] = [] # 构造二维数组 for page_tag in tag: page_result[i].append(page_json[i].get(page_tag)) # 遍历参数,将它们放置在同一个list当中 page_result[i][8] = ','.join(page_result[i][8]) return page_result # 返回当前页的招聘信息 def read_max_page(page): # 获取当前招聘关键词的最大页数,大于30的将会被覆盖,所以最多只能抓取30页的招聘信息 page_json = json.loads(page) max_page_num = page_json['content']['totalPageCount'] if max_page_num > 30: max_page_num = 30 return max_page_num def save_excel(fin_result, tag_name, file_name): # 将抓取到的招聘信息存储到excel当中 book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls' % file_name) # 默认存储在桌面上 tmp = book.add_worksheet() row_num = len(fin_result) for i in range(1, row_num): if i == 1: tag_pos = 'A%s' % i tmp.write_row(tag_pos, tag_name) else: con_pos = 'A%s' % i content = fin_result[i-1] # -1是因为被表格的表头所占 tmp.write_row(con_pos, content) book.close() if __name__ == '__main__': print('**********************************即将进行抓取**********************************') keyword = input('请输入您要搜索的语言类型:') fin_result = [] # 将每页的招聘信息汇总成一个最终的招聘信息 max_page_num = read_max_page(read_page(url, 1, keyword)) for page_num in range(1, max_page_num): print('******************************正在下载第%s页内容*********************************' % page_num) page = read_page(url, page_num, keyword) page_result = read_tag(page, tag) fin_result.extend(page_result) file_name = input('抓取完成,输入文件名保存:') save_excel(fin_result, tag_name, file_name) endtime = datetime.datetime.now() time = (endtime - starttime).seconds print('总共用时:%s s' % time)

  还有很*敏*感*词*可以添加,比如通过修改城市参数来查看不同城市的招聘信息等,大家可以自己开发。这只是为了吸引别人。欢迎交流。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线