屏蔽广告功能说明(7.0版本)
优采云 发布时间: 2020-08-10 22:13在采集网页内容过程中,有些网页中会好多广告,甚至会弹出广告框。一是影响规则的制做,二是影响采集速度。为了改善这种情况,优采云中会有一个功能点:屏蔽网页广告。
主要目的:
1、为了推动页面加载(广告会拖慢页面加载速率)
2、为了降低资源恳求(节省带宽资源)
界面位置:
基本操作:
示例:
相同的任务开启不开启广告屏蔽和广告屏蔽,可以看见如下图采集速度有显著的不同。没有屏蔽广告的相同时间内只采集了12条,而屏蔽广告的相同时间内采集了100条
屏蔽广告示例:
不屏蔽广告示例:
开启广告屏蔽可能存在的不利影响:
部分页面可能会由于屏蔽广告,导致页面结构发生变化,优采云的任务中原本生成的xpath须要调整。这时候十分方便的做法就是在做规则之前就须要考虑清楚是否要勾屏蔽广告,然后再做规则。确保规则的准确性。
例如:现在采集这个网站
如果之前不勾选屏蔽广告,可以看见循环列表的xpath是这样的,而且循环列表也是正常的。如下图:
这时候返回勾选屏蔽广告,再看循环列表,可以看见勾上然后循环列表为空了。这样规则找不到循环列表就不会正常采集。
这就是部份页面由于屏蔽了广告,页面结构发生了变化。所以须要先确定是否勾屏蔽广告再做规则了。
同时,还存在部份网站,屏蔽广告后,网页仍然在加载的情况,采集无法进行。这时返回“编辑规则”,将“屏蔽广告功能”的勾选除去就可以了。请慎重使用该功能。