解决方案:采集内容管理平台sdk采集方式从网页上抓取url地址进行爬取

　　解决方案:采集内容管理平台sdk采集方式从网页上抓取url地址进行爬取

　　采集内容管理平台sdk采集方式从网页上抓取url地址进行爬取。使用sdk抓取的速度会比api慢很多，毕竟技术架构层面要复杂一些。互联网大公司对于自己的采集工具都有些封闭。要爬取各种网站上的内容，要先去找网站做ssl，除非有非常特殊的技术场景，才会使用这些工具来抓取。如果他们要用这些工具来抓取，首先得找到网站作者。采集的渠道只能来自于网站，不能来自于爬虫。抓取某个网站，只能去抓取每个网站指定区域的内容。

　　开源采集工具比较推荐采妹儿，

　　1.i2poi阿里开源采集器，可以采集网站链接，也可以按c段抓取内容，抓取速度比较快，代码写的也比较友好。2.永发采集器主要针对电商站和社区站采集，简单易用，带有模版可以制作自己的采集任务，代码质量也可以。

　　可以参考如下两个问题：采集器从哪里下载？哪个采集器比较好？

　　内容去重工具推荐使用“lru“。

　　推荐使用zeptolib.

　　公众号文章全部使用mutable就可以进行爬取

　　可以抓取多个公众号的，爬取多个的话，我个人比较推荐crawler，也是个开源免费的采集工具，

　　我用的是python+chrome，写一个采集器，爬取多个公众号的内容，每个接口也是链接，接口规范，用的是*敏*感*词*策略，就是发的内容有多少，存一份，再用自己编写的程序抓取存入数据库，这样就可以抓取多个公众号的内容了。关于爬取内容去重，业务里会有采集的内容是同一个ip或者一个ip多次请求的，也可以利用smart做同一个页面的同一个内容进行多次采集。

　　还可以接入防爬服务。python上，没写过爬虫，使用别人写的爬虫后发现效率还是相当高的，完成这些功能都不是太复杂，基本上用scrapy和python比较稳定。还可以爬取数据库。