搜索引擎蜘蛛的工作过程大体上可以分成三个阶段

　　搜索引擎蜘蛛的工作过程大体上可以分成三个阶段

　　搜索引擎的工作过程大致可以分为三个阶段。

　　（1)爬取爬取：搜索引擎蜘蛛通过跟踪链接访问网页，获取页面的HTML代码并存入数据库。

　　(2)预处理：索引程序对抓取到的页面数据进行文本提取、中文分词、索引等处理，为排名程序调用做准备。

　　（3)排名：用户输入关键词后，排名程序调用索引库数据，计算相关性，然后生成一定格式的搜索结果页面。

　　爬行和爬行

　　爬取和爬取是搜索引擎工作的第一步，完成数据采集的任务。

　　1.蜘蛛

　　搜索引擎用来抓取和访问页面的程序称为蜘蛛，也称为机器人。

　　当搜索引擎蜘蛛访问网站页面时，它类似于普通用户使用的浏览器。蜘蛛程序发出页面访问请求后，服务器返回HTML代码，蜘蛛程序将接收到的代码存储在原创页面数据库中。搜索引擎为了提高抓取和抓取速度，使用多个蜘蛛并发分布抓取。

　　蜘蛛访问任何网站时，都会先访问网站根目录下的robots.txt文件。如果robots.txt文件禁止搜索引擎抓取某些文件或目录，蜘蛛将遵守协议，不会抓取被禁止的网址。和浏览器一样，搜索引擎蜘蛛也有标识自己的代理名称，站长可以在日志文件中识别搜索引擎蜘蛛。

　　2.跟踪链接

　　为了在网络上抓取尽可能多的页面，搜索引擎蜘蛛会跟随页面上的链接从一个页面爬到下一个页面，就像蜘蛛在蜘蛛网上爬行一样。这就是搜索引擎蜘蛛这个名字的由来。

　　整个互联网是由链接的网站和页面组成的。理论上，蜘蛛从任何页面开始，按照链接爬到互联网上的所有页面。当然，由于网站和页面链接的结构异常复杂，蜘蛛需要采取一定的爬取策略来遍历互联网上的所有页面。

　　最简单的爬行遍历策略分为两种，一种是深度优先，一种是广度优先。

　　所谓深度优先是指蜘蛛沿着发现的链接向前爬，直到前面没有链接，然后回到第一页，沿着另一个链接向前爬。

　　3.吸引蜘蛛

　　可以看出，虽然理论上蜘蛛可以爬取所有页面，但在实践中不能也不会这样做。

　　如果SEO人员希望他们的页面更​​多是收录，他们必须想办法吸引蜘蛛爬行。由于不是所有的页面都可以爬取，所以蜘蛛要做的就是尽可能多地爬取重要的页面。哪些页面被认为更重要？有几个影响因素。

　　网站 和页面权重。质量高、资历老的网站被认为权重较高，此类页面在网站上的爬取深度也会更高，所以更多的内部页面会是收录。

　　页面更新率。每次蜘蛛爬行时，都会存储页面数据。如果第二次爬取发现页面和第一次收录完全一样，说明页面没有更新，蜘蛛不需要频繁爬取。如果页面内容更新频繁，蜘蛛会更频繁地访问该页面，页面上出现的新链接自然会被蜘蛛更快地跟踪并抓取新页面。

　　导入链接。不管是外链还是同一个网站的内链，为了被蜘蛛爬取，必须有导入链接才能进入页面，否则蜘蛛没有机会知道页面的存在高质量的导入链接也往往会增加页面导出链接的深度。

　　点击与主页的距离。一般来说，网站在首页的权重最高，大部分外链都指向首页，首页是蜘蛛最常访问的。点击离首页越近，页面权重越高，被蜘蛛抓取的机会就越大。

　　4.地址库

　　为了避免重复抓取和抓取网址，搜索引擎会建立一个地址库来记录发现没有被抓取的页面，以及已经被抓取的页面。