从事SEO（搜索引擎优化）工作的人可以比喻成贴身管家

从事SEO（搜索引擎优化）工作的人可以比喻成贴身管家

　　搜索引擎的工作原理及各个搜索引擎的爬虫介绍

　　从事 SEO（搜索引擎优化）工作的人可以比作搜索引擎的私人管家。作为一名合格的管家，您必须了解您所服务对象的习惯、爱好和健康状况。

　　SEO服务的对象是搜索引擎，你要牢记它的运行规律、工作原理、习惯、优缺点等，多加实践。练习得越多，经验就会越丰富。

　　搜索引擎是由人创建的，因此很容易找到。搜索引擎工作流程主要有三个工作流程：抓取、预处理和服务输出。

　　1.4.1 爬爬爬

　　爬行爬行是搜索引擎工作中最重要的一步。它爬取所有需要爬回来的地方进行处理和分析。所以，如果爬行部分出了什么问题，后面就完全瘫痪了。

　　回想一下，每当我们用搜索引擎输入关键词时，都会有大量的关键词信息被我们查询到。这个过程以秒为单位。这时候我们就可以思考一下，搜索引擎是不是在1秒内从浩瀚的互联网上一一抓取了查询关键词，或者这部分数据是否提前处理过。

　　通常我们在线时，打开一个网页的时间在1秒以内。这只是打开网页的时间，所以搜索引擎不可能在几秒钟的情况下计算出互联网上的所有信息。再次查询，不仅费时而且费钱。

　　所以目前的搜索引擎已经提前对抓取到的网页进行了处理。征集工作也是按照一定的规律进行的，基本上具有以下两个特点。

　　？批量采集：采集互联网上所有带链接的网页，需要几周左右的时间。缺点是增加了额外的带宽消耗，时效性不高。

　　？增量采集：是批量采集的技术升级，完美弥补了批量采集的不足。在原有基础上采集新添加的网页，更改上次采集后发生变化的页面，删除重复和不存在的网页。

　　还有一种更简单的方法可以让搜索引擎抓取。您可以向搜索引擎提交网站，一段时间后您将进行抓取。但是主动提交后的爬取速度越来越慢。最理想的方式是按照自然链接采集。这就需要我们前期做好蜘蛛爬行的入口，一定要找到与网站本身相关的入口。下面将详细介绍搜索引擎蜘蛛的情况。

　　1.搜索引擎爬虫介绍

　　搜索引擎蜘蛛是搜索引擎的自动程序。它的功能是访问互联网上的网页、图片、视频等内容，建立索引库，让用户可以在搜索引擎中搜索到你的网站网页、图片、视频等内容。一般用法是“蜘蛛+URL”。后面的网址（网址）是搜索引擎的踪迹。如果要检查某个搜索？引擎是否已经抓取到你的网站，可以查看服务器日志中是否有URL，也可以查看时间、频率等......（1）百度蜘蛛：访问权限可以根据服务器的负载能力Density大大降低了服务器的服务压力，根据以往的经验，百度蜘蛛经常会过度重复抓取同一页面，导致其他页面无法抓取，无法收录。在这种情况下，可以采用robots协议方式进行调整。百度蜘蛛的用法如下：

　　baiduspider+(+)(2）谷歌蜘蛛：谷歌蜘蛛是一个比较活跃的网站扫描工具，每隔28天就会派遣“蜘蛛”搜索更新或修改的网页。最大的有百度蜘蛛不同的是，谷歌蜘蛛的爬取深度比百度蜘蛛要大，其用法如下：

　　Mozilla/5.0 (compatible;Googlebot/2.1;+) (3）雅虎中国蜘蛛：如果某个网站在Google网站下没有好的收录，在不会有好的收录和雅虎下爬。雅虎蜘蛛数量巨大，但平均效率？不是很高，对应的搜索结果质量低。用法如下：

　　Mozilla/5.0 (compatible; Yahoo! SLurp China;) (4）雅虎中文蜘蛛：雅虎英文蜘蛛的用法与中文蜘蛛不同，用法如下：Mozilla/5.0 (compatible; Yahoo !SLurp/3.0;) (5）微软必应蜘蛛：必应与雅虎有着深厚的合作关系，所以基本操作方式与雅虎蜘蛛类似，其用法如下：

　　msnbot/1.1(+)(6）搜狗蜘蛛：搜狗蜘蛛的爬行速度比较快，爬行次数略小于速度。搜狗蜘蛛最大的特点就是不抓取robot.text文件，其用法如下：

　　搜狗+web+robot+(+#07(7）搜搜工作室：搜狗早期用的是谷歌的搜索技术。谷歌有收录，搜搜肯定是收录。搜搜已经2011年宣布使用自己独立的搜索技术，但搜索蜘蛛和谷歌蜘蛛的特点还是相似的，其用法如下：

　　Sosospider+(+)(8）有道蜘蛛：和其他搜索引擎蜘蛛一样，所有网站权重高的链接一般都可以是收录。爬取的原理也是通过链接之间的爬取。用法是如下：

　　Mozilla/5.0（兼容； YodaoBot/1.0; ;)