动态网页抓取(如何捕获到动态加载的数据？小编来一起学习学习)

　　动态网页抓取(如何捕获到动态加载的数据？小编来一起学习学习)

　　本文文章主要介绍Python对网页动态加载的数据进行爬取的实现。通过示例代码介绍非常详细。对大家的学习或工作有一定的参考学习价值。有需要的朋友关注小编，一起学习

　　在使用python爬虫技术采集数据信息时，我们经常会遇到在返回的网页信息中，无法抓取到动态加载的可用数据。例如，当获取某个网页中的产品价格时，就会出现这种现象。如下所示。本文将实现对网页中类似动态加载数据的抓取。

　　

　　1. 那么什么是动态加载的数据呢？

　　我们可以通过requests模块抓取数据，不能每次都可见。部分数据是通过非浏览器地址栏中的url请求获取的。但是通过其他请求请求的数据，那么通过其他请求请求的这些数据就是动态加载的数据。（猜测是我们访问这个页面时代码会发送get请求，从其他url获取数据）

　　2. 如何检测网页中是否有动态加载的数据？

　　在当前页面打开抓包工具，抓包地址栏中url对应的数据包，在数据包的响应选项卡中搜索我们要抓取的数据，如果找到搜索结果，则表示数据不是动态加载的。否则，数据是动态加载的。如图所示：

　　

　　或者在要爬取的页面上右键，显示该网页的源代码。搜索我们要抓取的数据。如果找到搜索结果，则说明该数据不是动态加载的，否则说明该数据是动态加载的。如图所示：

　　

　　3. 如果数据是动态加载的，我们如何捕获动态加载的数据？

　　在抓取动态加载的数据信息时，首先需要根据动态加载技术在浏览器的网络监控中选择网络请求的类型，然后通过一一过滤的方式查询预览信息中的关键数据，得到相应的Request地址，最后分析信息。具体步骤如下：

　　在浏览器中，快捷键F12打开开发者工具，然后在网络类型中选择Network（网络监视器）并选择JS，然后按快捷键F5刷新，如下图所示。

　　

　　在请求信息列表中依次点击各个请求信息，然后在对应的Preview（请求结果预览）中查看是否是需要获取的动态加载数据，如下图所示。

　　

　　查看动态加载的数据信息后，点击Headers，获取当前网络请求地址和所需参数，如下图所示。

　　

　　根据上述步骤获取的请求地址，发送网络请求，从返回的信息中提取商品价格信息。作者在代码中使用了反序列化。可以点击这里了解json序列化和反序列化。代码如下：

　　

import requests

import json

# 获取商品价格的请求地址

url = "https://c0.3.cn/stock?skuId=12464XCddJb037&cat=1713,3259,3333&venderId=10000779XCddJb23&area" \

"=4_113_9786_0&buyNum=1&choseSuitSkuIds=&extraParam={%22originid%22:%221%22}&ch=1&fqsp=0&" \

"pduid=1573698619147398205303&pdpin=jd_635f3b795bb1c&coord=&detailedAdd=&callback=jquery6495921"

jQuery_id = url.split("=")[-1] + "("

# 头部信息

headers = {

"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) "

"AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36"

}

# 发送网络请求

response = requests.get(url, headers=headers)

if response.status_code == 200:

goods_dict = json.loads(response.text.replace(jQuery_id, "")[:-1]) # 反序列化

print(f"当前售价为: {goods_dict['stock']['jdPrice']['op']}")

print(f"定价为: {goods_dict['stock']['jdPrice']['m']}")

print(f"会员价为: {goods_dict['stock']['jdPrice']['tpp']}")

else:

print("请求失败！")

　　作者写博文的时候，价格发生了变化，运行结果如下图所示：

　　

　　注意：抓取动态加载数据信息时，需要根据不同的网页采用不同的方法进行数据提取。如果在运行源代码时出现错误，请按照步骤获取新的请求地址。

　　文章关于python爬取网页动态加载的数据的介绍到此结束。更多相关Python爬取网页动态数据内容，请搜索我们之前的文章或继续浏览以下相关文章希望大家以后多多支持！

　　文章名称：Python实现网页动态加载数据的爬取