网页抓取数据百度百科(爬虫根据关键词获取百度搜索指数历史数据的数据分析)

　　网页抓取数据百度百科(爬虫根据关键词获取百度搜索指数历史数据的数据分析)

　　一、简介

　　在实际业务中，我们可能会使用爬虫根据关键词获取百度搜索索引的历史数据，然后进行相应的数据分析。

　　

　　百度指数，体验大数据之美。但是，要获取百度指数相关的数据，困难在于：

　　本文以获取关键词（北京冬奥会，冬奥会开幕式）：近期百度搜索索引数据为例，讲解使用爬虫获取百度搜索索引历史数据的过程到关键词（以冬奥会为例），然后制作近90天冬奥会搜索索引可视化和采集媒体报道的素材的词云图.

　　二、网页分析

　　如果没有百度账号，需要先注册，然后进入百度指数官网：

　　百度指数

　　

　　搜索冬奥会，选择过去90天，可以看到最近90天冬奥会搜索指数的折线图：

　　

　　最后要做的是获取这些搜索索引数据并将其保存到本地 Excel。

　　首先，登录后需要获取cookie（必须要有，否则无法获取数据）。具体cookie获取如下：

　　

　　分析可以找到json数据的接口，如下：

　　

　　Request URL中word参数后跟搜索关键词（只编码汉字），days=90，表示过去90天的数据，从前一天往前推一个月当前日期，并可根据需要修改天数以获取更多数据或更少数据。将Request URL粘贴到浏览器中查看（查看JSON数据网页，有JSON Handle之类的插件会很方便）

　　https://index.baidu.com/api/SearchApi/index?area=0&word[[%7B%22name%22:%22%E5%86%AC%E5%A5%A5%E4%BC%9A%22,%22wordType%22:1%7D]]&days=90

　　

　　可以看到以下数据：

　　

　　将all、pc、wise对应的数据解密后，与搜索索引的折线图显示的数据进行对比，发现all部分的数据就是搜索索引的数据。这个请求返回的数据都在这里了，也可以看到uniqid，而且每次刷新加密数据时，加密数据和uniqid都会发生变化。

　　

　　经过多次分析，发现请求数据的url下的uniqid出现在这个url中，如上图。

　　因此需要从请求数据对应的url中获取数据，解析出搜索索引对应的加密数据和uniqid，然后将url拼接得到key，最后调用解密方法解密得到搜索索引的数据。

　　https://index.baidu.com/Interface/ptbk?uniqid=b92927de43cc02fcae9fbc0cee99e3a9

　　找到对应的url后，爬虫的基本思路还是一样的：发送请求，得到响应，解析数据，然后解密保存数据。

　　三、数据采集

　　Python代码：

<p># -*- coding: UTF-8 -*-

"""

@Author ：叶庭云

@公众号 ：AI庭云君

@CSDN ：https://yetingyun.blog.csdn.net/

"""

import execjs

import requests

import datetime

import pandas as pd

from colorama import Fore, init

init()

# 搜索指数数据解密的Python代码

def decryption(keys, data):

dec_dict = {}

for j in range(len(keys) // 2):

dec_dict[keys[j]] = keys[len(keys) // 2 + j]

dec_data = &#39;&#39;

for k in range(len(data)):

dec_data += dec_dict[data[k]]

return dec_data

if __name__ == "__main__":

# 北京冬奥会 冬奥会开幕式

keyword = &#39;北京冬奥会&#39; # 百度搜索收录的关键词

period = 90 # 时间 近90天

start_str = &#39;https://index.baidu.com/api/SearchApi/index?area=0&word=[[%7B%22name%22:%22&#39;

end_str = &#39;%22,%22wordType%22:1%7D]]&days={}&#39;.format(period)

dataUrl = start_str + keyword + end_str

keyUrl = &#39;https://index.baidu.com/Interface/ptbk?uniqid=&#39;

# 请求头

header = {

&#39;Accept&#39;: &#39;application/json, text/plain, */*&#39;,

&#39;Accept-Encoding&#39;: &#39;gzip, deflate, br&#39;,

&#39;Accept-Language&#39;: &#39;zh-CN,zh;q=0.9&#39;,

&#39;Connection&#39;: &#39;keep-alive&#39;,

&#39;Cookie&#39;: &#39;注意：换成你的Cookie&#39;,

&#39;Host&#39;: &#39;index.baidu.com&#39;,

&#39;Referer&#39;: &#39;https://index.baidu.com/v2/main/index.html&#39;,

&#39;sec-ch-ua&#39;: &#39;" Not;A Brand";v="99", "Google Chrome";v="91", "Chromium";v="91"&#39;,

&#39;sec-ch-ua-mobile&#39;: &#39;?0&#39;,

&#39;Sec-Fetch-Dest&#39;: &#39;empty&#39;,

&#39;Sec-Fetch-Mode&#39;: &#39;cors&#39;,

&#39;Sec-Fetch-Site&#39;: &#39;same-origin&#39;,

&#39;User-Agent&#39;: &#39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36&#39;

}

# 设置请求超时时间为16秒

resData = requests.get(dataUrl,

timeout=16, headers=header)

uniqid = resData.json()[&#39;data&#39;][&#39;uniqid&#39;]

print(Fore.RED + "uniqid：{}".format(uniqid))

keyData = requests.get(keyUrl + uniqid,

timeout=16, headers=header)

keyData.raise_for_status()

keyData.encoding = resData.apparent_encoding

# 解析json数据

startDate = resData.json()[&#39;data&#39;][&#39;userIndexes&#39;][0][&#39;all&#39;][&#39;startDate&#39;]

print(Fore.RED + "startDate：{}".format(startDate))

endDate = resData.json()[&#39;data&#39;][&#39;userIndexes&#39;][0][&#39;all&#39;][&#39;endDate&#39;]

print(Fore.RED + "endDate：{}".format(endDate))

source = (resData.json()[&#39;data&#39;][&#39;userIndexes&#39;][0][&#39;all&#39;][&#39;data&#39;]) # 原加密数据

print(Fore.RED + "原加密数据：{}".format(source))

key = keyData.json()[&#39;data&#39;] # 密钥

print(Fore.RED + "密钥：{}".format(key))

res = decryption(key, source)

# print(type(res))

resArr = res.split(",")

# 生成datetime

dateStart = datetime.datetime.strptime(startDate, &#39;%Y-%m-%d&#39;)

dateEnd = datetime.datetime.strptime(endDate, &#39;%Y-%m-%d&#39;)

dataLs = []

# 起始日期到结束日期每一天

while dateStart