解决方法:搜索引擎蜘蛛给网站带来的危害，有效指引爬虫对应的措施(最准确搜索引擎蜘蛛名称)

　　解决方法:搜索引擎蜘蛛给网站带来的危害，有效指引爬虫对应的措施(最准确搜索引擎蜘蛛名称)

　　3、与网站主题无关的搜索引擎爬虫消耗资源。

　　例如，典型的搜索引擎示例“EtaoSpider 是 Etao 的爬虫”。被各大电商购物网站屏蔽。拒绝一淘网抓取其产品信息和用户评论。封禁的原因首先应该是它们之间没有合作互利的关系，而EtaoSpider爬虫是最疯狂的蜘蛛之一。统计数据显示，EtaoSpider爬虫的每日爬取量是“百度蜘蛛：Baiduspider”、“360蜘蛛：360Spider”、“SOSO蜘蛛：Sosospider”等主流蜘蛛爬虫的数倍，而且远不止这些。关键是被爬取的EtaoSpider只会消耗你的网站资源，不会给你带来流量，或者其他对你有用的东西。

　　最近发布:百度飓风算法出台，严厉打击网站恶劣采集内容

　　百度搜索近期推出飓风算法，旨在打击以不良采集为主要内容来源的网站。同时，百度搜索将从索引库中彻底剔除不良采集链接，为优质链接原创内容提供更多展示机会，促进搜索生态健康发展。

　　飓风算法会例行生成惩罚数据，同时会根据情况随时调整迭代，体现了百度搜索对不良采集的零容忍。如果优质原创站点发现站点索引大幅下降，流量明显下降，可以在反馈中心进行反馈。

　　内容质量标准很难判断，有时候连伪原创都感觉比原创好，用机器识别会很尴尬。目前，其实很多网站都有采集的行为。如果真要打击采集，360DOC怎么算？很多新闻台也互相采集，百度也没有明确说明如何判断采集。搜索引擎优化者对此有何看法？

　　点击原文链接参与讨论。