,别人数据所获得的数据一般都是无效数据,

　　,别人数据所获得的数据一般都是无效数据,

　　网站文章自动采集，传统的网站爬虫很难用一个文章链接加到网站url里面，现在可以用一个cache来做到。

　　类似的新闻网站一般都会有分页数，分页数越多，跳转到下一页的概率就越大。

　　一般来说,内容都是无法批量抓取的,因为:1、用于数据采集的数据通常要结构化,不能随便地调用;2、数据总有一个切片(filehierarchy),对应着切片中要被拆分出的数据块,每一个数据块中都有很多对应特定逻辑的字段;我们最简单的办法,就是对抓取下来的页面按照某种算法处理后,再进行pagerank计算;这就涉及算法提取时的randomforest优化或者统计算法;所以总结一下,你要做一个网站,估计要自己去实现所有的相关算法;另外,我认为爬虫抓取别人数据所获得的数据一般都是无效数据,因为数据在别人服务器里,别人做什么,完全掌握在别人手中;如果网站数据也需要爬虫抓取的话,不仅会泄露更多私密数据,而且还不安全;真正的数据源(如blogspot等论坛)都是不提供免费下载的;综上,这些玩意看着简单,实际真正实现起来还是挺难的,因为牵扯到很多技术上的东西,不能像抓取网站上的数据那样简单。

　　如果只是数据抓取,用python爬虫框架或者用requests库,一抓一大把;如果要做分析的话,建议再提供一些支持就更好了。