360搜索对Robots协议的善意使用协议文件的扩展

　　360搜索对Robots协议的善意使用协议文件的扩展

　　360搜索将优先使用好搜蜘蛛访问网站。如果遇到UA识别无法下载页面，则使用360spider重新抓取，蜘蛛IP不会改变。

　　允许

　　站长可以通过Allow命令指定收录建议的文件和目录。

　　禁止

　　站长可以使用 Disallow 命令指定不推荐用于收录 的文件和目录。

　　机器人协议的 360 搜索扩展

　　360 搜索将根据网站站长的反馈继续推出扩展机器人协议命令。这些命令将帮助站长提高与360搜索爬虫的通信效率，降低站长维护Robots协议文档的技术成本。

　　360搜索的第一个扩展命令是indexpage。站长们可以用这个命令告诉360去搜​​索哪些经常更新的页面。 360搜索会根据站长指令和自身算法智能调整爬虫爬取频率，实现对网站新内容的更高频率爬取。

　　命令中可以使用*和$等通配符。

　　示例：

　　使用通配符

　　Indexpage: http://bbs.360safe.com/forum-*-1.html$

Indexpage: http://ent.sina.com.cn/*/roll.html

　　没有通配符：

　　Indexpage: http://roll.tech.sina.com.cn/internet_all/index.shtml

Indexpage: http://roll.tech.sina.com.cn/it/index.shtml

Indexpage: http://roll.tech.sina.com.cn/tele/index.shtml

Indexpage: http://roll.tech.sina.com.cn/discovery/index.shtml

Indexpage: http://roll.tech.sina.com.cn/elec/index.shtml

　　善意使用机器人协议

　　机器人协议是搜索引擎与网站 之间的善意协议。我们鼓励网站管理员善意使用本协议，并尽量提供准确的信息。除非有充分的理由，否则不要使用Robots协议来屏蔽某些特定的搜索引擎爬虫。

　　360 搜索愿与站长一起，共建更健康、公平、透明的搜索引擎生态。