算法 自动采集列表(算法自动采集列表、需要细分好每个tab的太单一了)

　　算法 自动采集列表(算法自动采集列表、需要细分好每个tab的太单一了)

　　算法自动采集列表、需要人工采集的条目尽量少并细分好每个tab的title，另外过滤掉需要访问网站等需求。自动搜索链接这个技术不错，但是太单一了。有一个页面js，搜索url附近就会出现一个蓝*敏*感*词*标并推荐提示相关的内容，用来实现个性化并作为评分、排序等很有用。

　　用javascript自动采集需要爬取的站点。

　　为什么就不能是提供站内搜索功能，爬虫时请用搜索引擎自带的，或者阿里巴巴站内搜索！！！以下正文。同第一个问题，开放的采集站点不足三成。我可以贡献一个搜索返回链接的例子：。他提供了本站前后的所有html内容（部分css，js引入链接）的搜索返回。另外同问题（问题修改意见）一样，用什么采集方法，也是一个重要问题。

　　无非是对seo的影响。我只以最严格的考虑，跳到url上搜一下，就会发现baidu是没有对url排序的，而google的话，你跳上去他是按照url的pagelevel来排序的。我的解决方案是为这个站上的返回链接返回一个表头。第二个问题，个人认为本质问题是爬虫的设计。提供一个入口应该不是太难，难的是判断来路。

　　有过爬虫经验的人，也许会认为下面这个例子很简单。右键另存为就可以了。但是对于个人的爬虫来说，他首先需要判断爬虫是google（他不会说是baidu，googlesearch）还是baidu（他不会说是360，搜狗，百度）。如果返回一个未知的url，有太多可能，他根本不知道爬虫怎么搞。这个情况，百度爬虫非常理想，他返回一个可控的网址列表。

　　但是对于分布式爬虫来说，每台google爬虫都可能会执行反爬，要判断来路，google很可能就告诉你，反正你要爬我的数据，所以你就到我的网站去爬。这个时候无论你爬上去，下来，爬远处，搞不好还抓到一些垃圾，那就不好了。另外，也提供个独立爬虫访问网页的例子，我给出我提供这个站的代码，大家自己改改，其实百度也是可以的。

　　代码1.方法代码2.分布式爬虫相关回答：tyler：如何通过工具让多个网站共享同一个javascript？mike：如何通过搜索网站的链接，遍历高亮站内链接？123.谷歌搜索比百度好在哪些方面？该继续保持使用百度还是谷歌？单纯用urllib2爬虫,,mike：python爬虫,,mike：如何伪装自己是一个python程序员?。