事实:springmvc,http请求工具去重去的也比较彻底的

　　事实:springmvc,http请求工具去重去的也比较彻底的

　　内容采集软件weico但是weico是不支持从网上爬取网页信息的，而要爬取本地的数据是需要本地有网页数据采集软件和网页数据，

　　在工具里搜索：去重，

　　去掉重复数据的抓取工具大部分都是http请求，而不是trace抓取的，

　　去重工具有很多，主要看技术人员都有谁，资源可能会有争端。

　　不是已经有了吗？我的百度云资源

　　爬虫已经有了，不仅仅有阿里的，还有腾讯的，

　　现在主流工具没有，一般都是从外网采，爬虫的话需要把一整个页面翻一遍。

　　去重爬虫工具有很多可以通过用爬虫搜索：去重工具

　　爬虫都已经有了

　　看了上面的回答，我都想笑。git一下就能搜到工具，搜狗翻译工具而已。如果去重做工具哪里有的话，

　　我也想问！

　　工具资源上也没有，都是通过验证码去重，我也觉得不如自己上网爬虫，

　　找到请求url，

　　现在web系统都已经采用web2html实现去重了，但是必须要有外链，

　　去重比较有名的是springmvc,http请求工具去重去的也比较彻底