搜索引擎优化 知乎(琚艳齐内容摘要：搜索引擎蜘蛛的特性和特点和有着相似的地方)

　　搜索引擎优化 知乎(琚艳齐内容摘要：搜索引擎蜘蛛的特性和特点和有着相似的地方)

　　大家好，我叫鞠艳琪

　　内容概要： 搜索引擎蜘蛛是搜索引擎的自动程序。它的功能是访问互联网上的网页、图片、视频等内容，并建立索引库，让用户可以在搜索引擎中搜索到你的网站网页、图片、视频等内容。

　　一般用法是“蜘蛛+URL”，下面的URL（网址）就是搜索引擎的踪迹。如果要查看搜索引擎是否抓取了你的网站，可以查看服务器日志中是否有这个URL。，还可以查看时间、频率等。

　　1、百度蜘蛛：可以根据服务器的负载能力调整访问密度，大大降低了服务器的服务压力。根据以往的经验，百度蜘蛛通常会过度重复爬取同一页面，导致其他页面无法爬取，无法收录。这种情况可以通过机器人协议进行调整。

　　2、Google Spider：Google Spider 是 网站 比较活跃的扫描工具，它每 28 天左右发出“蜘蛛”来检索更新或修改的网页。与百度蜘蛛最大的不同在于，谷歌蜘蛛比百度蜘蛛的爬取深度更大。

　　3、雅虎中国蜘蛛：如果某个网站在Google网站下没有很好的收录，在Yahoo下也不会有很好的收录和爬行。雅虎蜘蛛数量庞大，但平均效率不是很高，相应的搜索结果质量也不高。

　　4、微软必应蜘蛛：必应与雅虎有着深厚的合作关系，所以基本的操作模式与雅虎蜘蛛类似。

　　5、搜狗蜘蛛：搜狗蜘蛛的爬行速度比较快，爬行的次数比速度略少。最大的特点是不爬取robot.text文件。

　　6、搜搜蜘蛛：搜搜早期使用了谷歌的搜索技术。谷歌有收录，搜搜肯定有收录。2011年，搜搜宣布采用自己的独立搜索技术，但搜搜蜘蛛和谷歌蜘蛛的特点还是有相似之处。

　　8、有道蜘蛛：和其他搜索引擎蜘蛛一样，任何权重网站的链接一般都可以是收录。爬取的原理也是通过链接之间的爬取。