百度爬虫工具箱能不能发个链接和楼主一起学习？

　　百度爬虫工具箱能不能发个链接和楼主一起学习？

　　采集工具的话，推荐去豆瓣爬虫*敏*感*词*加群跟大家一起交流，可以找到很多入门帖子，爬虫资料也很多。最后说一句，目前豆瓣的爬虫遇到一些重复时都要求从首页来，但不知道能不能提交到爬虫上。

　　利用内部渠道获取feed，会在发生这种情况的时候认为该渠道已经爬去。

　　百度爬虫工具箱

　　能不能发个链接和楼主一起学习？

　　我知道，是这样。我说下我们公司的吧，搜索卖家可以看到高手帮手，里面也有爬虫和工具，

　　我也很想知道豆瓣是怎么爬去的

　　站长工具我觉得你会用

　　这不是推荐干货么。

　　从豆瓣爬取数据？多说一句，其实现在用的比较多的是，百度，都可以爬取的。

　　这个虽然很多，但是不能推荐完全适合自己的，你也可以使用数据，加上百度，

　　豆瓣可以看看阿里巴巴的网站情况，

　　页面爬取情况，

　　你在问题里面问道，豆瓣的爬取工具，这确实难上加难，不过可以把你写的系统搬运过来，自己试试，爬取速度能不能赶上日爬千万的豆瓣。

　　豆瓣不是一个完整的应用体系吗，爬取不需要整个应用的啊，比如可以爬之类的，打开你需要爬取的网站，从这个开始爬，也可以每次发布博客爬取网站博客爬取然后进行聚合，