事实:网站程序自带的采集器采集文章，定位不清晰，数据来源单一

　　事实:网站程序自带的采集器采集文章，定位不清晰，数据来源单一

　　网站程序自带的采集器采集文章，定位不清晰，数据来源单一。一般的爬虫程序无法满足对不同采集结果的分析需求。比如：分析不同页面的抓取量、获取每个字段的关联性，通过交叉验证采集的准确性等。爬虫程序能力有限，无法满足。但是好在拥有强大的反爬虫手段。后端服务器上存储全网采集数据，有大量采集爬虫程序因为被绕过而无法得到所需要的数据。

　　而可以通过在网页代码中添加小程序，小程序的存在则为采集数据提供了一个更好的形式。比如：可以通过采集分类和人数的变化情况，估算网站停留时间（这个可以用于对全网广告数量进行统计分析）；也可以通过算法算出与正常内容区别更大的内容，进而猜测出哪些是敏感内容。通过反爬虫思路，和降低采集难度，降低人力成本，使得采集网站的数据更加精准。

　　看起来你说的，是用爬虫程序而不是网站。在网站抓取的过程中，中间总会出现返回的xml链接中包含特定数据的情况，而其中若有个体是个小程序，小程序会怎么做？首先排除恶意程序，一般的小程序也就是一个公众号号，考虑封面图制作的灵活性，那么可以使用常规的功能，如关注回复等。但是，第一，并不是所有的商户都会接受这种功能，接受的情况也就是还算正常的，但总会有一些不正常，第二，真正发送信息的人往往能力不足，可能还需要手动去发送或者自己去搜索其他信息，第三，第三的可能会使得正常人信息泄露了。

　　所以网站自带的采集程序与爬虫程序的差别就出来了。比如微软的商城api（前提是百度、谷歌等搜索引擎无法抓取），苹果的官网信息，你以为这些就没有难度？但根据淘宝5年大数据挖掘出，哪怕你在搜索引擎上，在爬虫软件上，是很难发现问题的，搜索网站往往搜索不到此信息。但微信的小程序，却可以。所以，你应该问的问题是如何将用户的注意力转移到小程序的数据上。

　　答案很简单，用各种小程序，小程序是收费的，但分别价格却超级低廉。微信本身就不是盈利平台，必须靠小程序盈利，如果无法把用户放到小程序上，用户注意力就离开了微信，你可以想象，一款软件，用户使用过程中，是一直广告少，还是广告多，而且很高频？答案很明显。