php抓取网页表格信息(python制作爬虫并将抓取结果保存到excel中的相关内容吗)

　　php抓取网页表格信息(python制作爬虫并将抓取结果保存到excel中的相关内容吗)

　　想知道python制作爬虫并将爬取结果保存到excel的相关内容吗？在本文中，Data&Truth 将仔细讲解python制作爬虫并将爬取结果保存到excel的相关知识以及一些代码示例。欢迎先阅读并指正重点：下面一起来学习python爬虫

　　我已经学习 Python 一段时间了。各种理论知识大体上可以考虑一两个。进入今天的实战练习：用Python写一个拉勾网薪资调查的小爬虫

　　第一步：分析网站的请求过程

　　当我们在拉勾网查看招聘信息时，搜索Python或PHP等职位信息实际上是在向服务器发送相应的请求。服务器动态响应请求，通过浏览器分析将我们需要的内容呈现给我们。

　　

　　可以看到，我们发送的请求中FormData中的kd参数代表了服务器对关键词的Python招聘信息的请求

　　建议使用 Fiddler 来分析比较复杂的页面请求和响应信息。绝对是分析网站的杀手锏。但是，相对简单的响应请求，可以配合浏览器自带的开发工具使用，比如火狐的FireBug等，所有请求的信息，只要按一下F12就可以展现在你面前

　　通过对网站的请求和响应过程的分析可以看出，拉勾网的招聘信息是由XHR动态传输的

　　

　　我们发现POST发送了两个请求，companyAjax.json和positionAjax.json，分别控制当前显示的页面和页面中收录的招聘信息。

　　

　　可以看到我们需要的信息收录在positionAjax.json的Content->result中，其中还收录了一些其他的参数信息，包括总页数（totalPageCount）、招聘注册总次数（totalCount）等相关信息

　　第二步：发送请求获取页面

　　知道我们想要获取的信息在哪里是最重要的。知道了信息的位置后，接下来就要考虑如何通过Python模拟浏览器来获取我们需要的信息了。

　　

def read_page(url, page_num, keyword): # 模仿浏览器post需求信息并读取返回后的页面信息

page_headers = {

'Host': 'www.lagou.com',

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '

'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',

'Connection': 'keep-alive'

}

if page_num == 1:

boo = 'true'

else:

boo = 'false'

page_data = parse.urlencode([ # 通过页面分析发现浏览器提交的FormData包括以下参数

('first', boo),

('pn', page_num),

('kd', keyword)

])

req = request.Request(url, headers=page_headers)

page = request.urlopen(req, data=page_data.encode('utf-8')).read()

page = page.decode('utf-8')

return page

　　比较关键的步骤之一就是在模仿浏览器的Post方法后如何打包我们自己的请求

　　请求中收录的参数包括要爬取的网页的URL和headersurlopen中的data参数进行伪装，包括FormData的三个参数（first, pn, kd）

　　打包完成后，您可以像浏览器一样访问拉勾网，获取页面数据。

　　第三步：各自获取所需数据

　　获取到页面信息后，我们就可以开始爬取数据最重要的一步了：爬取数据

　　捕获数据的方法有很多种，比如正则表达式relxml的etreejson和bs4的BeautifulSoup，都是python3捕获数据的适用方法。您可以根据实际情况使用其中的一种或多种。

　　

def read_tag(page, tag):

page_json = json.loads(page)

page_json = page_json['content']['result']

# 通过分析获取的json信息可知招聘信息包含在返回的result当中其中包含了许多其他参数

page_result = [num for num in range(15)] # 构造一个容量为15的占位list用以构造接下来的二维数组

for i in range(15):

page_result[i] = [] # 构造二维数组

for page_tag in tag:

page_result[i].append(page_json[i].get(page_tag)) # 遍历参数将它们放置在同一个list当中

page_result[i][8] = ','.join(page_result[i][8])

return page_result # 返回当前页的招聘信息

　　第4步：将捕获的信息存储在excel中

　　获取原创数据后，我们将采集到的数据在excel中进行结构化、组织化的存储，以便进一步整理分析，方便数据的可视化。

　　这里我使用了两个不同的框架：旧的 xlwt.Workbook 和 xlsxwriter

　　

def save_excel(fin_result, tag_name, file_name):

book = Workbook(encoding='utf-8')

tmp = book.add_sheet('sheet')

times = len(fin_result)+1

for i in range(times): # i代表的是行,i+1代表的是行首信息

if i == 0:

for tag_name_i in tag_name:

tmp.write(i, tag_name.index(tag_name_i), tag_name_i)

else:

for tag_list in range(len(tag_name)):

tmp.write(i, tag_list, str(fin_result[i-1][tag_list]))

book.save(r'C:\Users\Administrator\Desktop\%s.xls' % file_name)

　　首先，xlwt不知道为什么xlwt存储了100多条数据后存储不全，excel文件也会出现“部分内容有问题需要修复”。查了很多次，还以为是数据采集不全导致的存储问题。出问题后断点检查发现数据完整。然后我改了本地数据进行处理，没有问题。我当时的心情是这样的：

　　

　　直到现在，我还没有弄清楚。知道的人希望告诉我ლ(╹ε╹ლ)

　　

def save_excel(fin_result, tag_name, file_name): # 将抓取到的招聘信息存储到excel当中

book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls' % file_name) # 默认存储在桌面上

tmp = book.add_worksheet()

row_num = len(fin_result)

for i in range(1, row_num):

if i == 1:

tag_pos = 'A%s' % i

tmp.write_row(tag_pos, tag_name)

else:

con_pos = 'A%s' % i

content = fin_result[i-1] # -1是因为被表格的表头所占

tmp.write_row(con_pos, content)

book.close()

　　这是使用xlsxwriter存储的数据可以正常使用没有问题

　　至此，一个从拉勾网抓取招聘信息的小爬虫诞生了。

　　附上源代码

　　

#! -*-coding:utf-8 -*-

from urllib import request, parse

from bs4 import BeautifulSoup as BS

import json

import datetime

import xlsxwriter

starttime = datetime.datetime.now()

url = r'http://www.lagou.com/jobs/positionAjax.json?city=%E5%8C%97%E4%BA%AC'

# 拉钩网的招聘信息都是动态获取的所以需要通过post来递交json信息默认城市为北京

tag = ['companyName', 'companyShortName', 'positionName', 'education', 'salary', 'financeStage', 'companySize',

'industryField', 'companyLabelList'] # 这是需要抓取的标签信息包括公司名称*敏*感*词*要求薪资等等

tag_name = ['公司名称', '公司简称', '职位名称', '所需*敏*感*词*', '工资', '公司资质', '公司规模', '所属类别', '公司介绍']

def read_page(url, page_num, keyword): # 模仿浏览器post需求信息并读取返回后的页面信息

page_headers = {

'Host': 'www.lagou.com',

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '

'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',

'Connection': 'keep-alive'

}

if page_num == 1:

boo = 'true'

else:

boo = 'false'

page_data = parse.urlencode([ # 通过页面分析发现浏览器提交的FormData包括以下参数

('first', boo),

('pn', page_num),

('kd', keyword)

])

req = request.Request(url, headers=page_headers)

page = request.urlopen(req, data=page_data.encode('utf-8')).read()

page = page.decode('utf-8')

return page

def read_tag(page, tag):

page_json = json.loads(page)

page_json = page_json['content']['result'] # 通过分析获取的json信息可知招聘信息包含在返回的result当中其中包含了许多其他参数

page_result = [num for num in range(15)] # 构造一个容量为15的list占位用以构造接下来的二维数组

for i in range(15):

page_result[i] = [] # 构造二维数组

for page_tag in tag:

page_result[i].append(page_json[i].get(page_tag)) # 遍历参数将它们放置在同一个list当中

page_result[i][8] = ','.join(page_result[i][8])

return page_result # 返回当前页的招聘信息

def read_max_page(page): # 获取当前招聘关键词的最大页数大于30的将会被覆盖所以最多只能抓取30页的招聘信息

page_json = json.loads(page)

max_page_num = page_json['content']['totalPageCount']

if max_page_num > 30:

max_page_num = 30

return max_page_num

def save_excel(fin_result, tag_name, file_name): # 将抓取到的招聘信息存储到excel当中

book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls' % file_name) # 默认存储在桌面上

tmp = book.add_worksheet()

row_num = len(fin_result)

for i in range(1, row_num):

if i == 1:

tag_pos = 'A%s' % i

tmp.write_row(tag_pos, tag_name)

else:

con_pos = 'A%s' % i

content = fin_result[i-1] # -1是因为被表格的表头所占

tmp.write_row(con_pos, content)

book.close()

if __name__ == '__main__':

print('**********************************即将进行抓取**********************************')

keyword = input('请输入您要搜索的语言类型：')

fin_result = [] # 将每页的招聘信息汇总成一个最终的招聘信息

max_page_num = read_max_page(read_page(url, 1, keyword))

for page_num in range(1, max_page_num):

print('******************************正在下载第%s页内容*********************************' % page_num)

page = read_page(url, page_num, keyword)

page_result = read_tag(page, tag)

fin_result.extend(page_result)

file_name = input('抓取完成输入文件名保存：')

save_excel(fin_result, tag_name, file_name)

endtime = datetime.datetime.now()

time = (endtime - starttime).seconds

print('总共用时：%s s' % time)

　　还有很多可以添加的功能，比如通过修改城市参数查看不同城市的招聘信息等，这里可以自己开发，仅供参考，欢迎交流

　　相关文章