自动采集文章内容(如何筛选比较好，可以参考我之前在linux下关于爬虫的一篇文章)

　　自动采集文章内容(如何筛选比较好，可以参考我之前在linux下关于爬虫的一篇文章)

　　自动采集文章内容是爬虫会做的，但是不会把全部文章都采集进来，是否采集全部取决于你的爬虫算法（也就是爬虫每次需要爬取的文章数量，获取新文章越多效率越高，如果你有很大的数据库，可以每次随机抓取文章并标记时间段，一次性抓取全部）而对于ip，看你爬虫支持多少ip/每秒请求文章数量，假设你爬虫要爬取20万次，ip并发不够的话，采集文章速度会很慢。关于文章标题如何筛选比较好，可以参考我之前在linux下关于爬虫的一篇文章。

　　快科技回答了：/

　　肯定是一般的爬虫最快的.因为他懂爬虫的各种细节.比如,选择标题的规则.是否要抓取已经死掉的那些.前端标题规则.有没有时效性要求.是否需要大站点.小站点也要抓取.

　　只是1万多篇文章，那爬虫量太小了。关键是每篇文章需要多少个ip？1万多是多少？我家客户现在自动抓取150万篇文章。相当于四五千万。而这个量级，在目前的各种机器爬虫中是凤毛麟角的，很多机器爬虫，每日只抓取1万多篇文章，对爬虫来说无法使用。举个例子，有些人说上卖家留的淘口令可以自动抓取，这个其实，根本没法抓取，因为他的返回信息并没有1万多篇这个数字，为什么？那些领先爬虫，仅支持抓取1万多篇文章，即使是最顶级的那几个，我相信，他们也不会经常去抓1万多篇的，为什么？因为有封号的风险。

　　任何爬虫，都要有一定的有效文章量，这个数量在5万左右为宜。所以，最好的方法是，挑选有专职人员的团队来做这件事情，专门做抓取相关工作，但是，他们的成本相当于让所有人都去卖保险了。不知道怎么找专职人员，可以尝试去专门的招聘网站上面看看。