关键词文章采集源码(网页源码中看不到的数据怎么抓取以前介绍过如何抓取)
优采云 发布时间: 2022-01-15 02:16关键词文章采集源码(网页源码中看不到的数据怎么抓取以前介绍过如何抓取)
如何抓取网页源码中看不到的数据
之前已经介绍过如何从网页的源码中抓取自己想要的数据,但是还是有很多数据在源码中是看不到的。
显示金额为25000
如上图,我想得到红框中“保证金”的金额,但是通过查看网页的源码,发*敏*感*词*的金额。让我教你在使用 ForeSpider data采集 软件时如何捕获这些数据。
网页源代码中没有数据
首先打开网页中的URL,在页面任意位置右击,点击“Inspect Element”,打开开发者工具,如下图,点击“启用网络流量捕获”,然后刷新页面。
在搜索框中输入我们要查找的数据。我这次要取的存款金额是“25000”。输入后,点击搜索按钮,在对应的文本中找到需要的数据。数据已经找到了,接下来就可以使用ForeSpider data采集软件编写脚本爬取数据了。
下面是数据采集的脚本,这次是写在字段里,“字段处理”选择“脚本处理”,每行的意思写在注释里。
脚本中的refer和cookie信息在浏览器的请求头中,变量ur赋值为摘要的url地址。
本脚本使用的Opendoc方法在ForeSpider data采集系统的帮助文档中有详细描述。
这次采集示例网址:
过去的教程:
ForeSpider 链接提取脚本:
ForeSpider 如何处理 采集 和 关键词:
为什么总是出现存储错误?关于字段属性的问题:
想了解前端嗅探吗?ForeSpider 究竟是做什么的?