搜索引擎蜘蛛+(+#07)的工作过程

　　搜索引擎蜘蛛+(+#07)的工作过程

　　搜索引擎的工作过程非常复杂，简单来说，搜索引擎的工作过程大致可以分为三个阶段。

　　爬行和爬行：搜索引擎蜘蛛通过跟踪链接访问页面，获取页面的HTML代码并将其存储在数据库中。

　　预处理：Search Winning将对抓取的页面数据文本执行文本提取，中文分词，索引和其他处理，以准备进行排名程序调用。

　　排名：用户输入关键字后，排名将调用索引数据库数据，计算相关性，然后以某种格式生成搜索结果页面。

　　爬行和爬行

　　爬行和爬行是搜索引擎工作的第一步，可以完成数据采集的任务。

　　蜘蛛

　　搜索引擎用来抓取和访问页面的程序称为蜘蛛程序，也称为机器人程序。

　　蜘蛛代理名称：

　　百度蜘蛛：百度蜘蛛+（+）

　　Yahoo China Spider：Mozilla / 5. 0（兼容； Yahoo！Slurp China；）

　　英语Yahoo Spider：Mozilla / 5. 0（兼容； Yahoo! Slurp / 3. 0;）

　　Google蜘蛛：Mozilla / 5. 0（兼容； Googlebot / 2. 1; +）

　　Microsoft Bing Spider：msnbot / 1. 1（+）•

　　Sogou蜘蛛：Sogou + web + robot +（+＃0 7)

　　搜索蜘蛛：Sosospider +（+）

　　Youdao Spider：Mozilla / 5. 0（兼容； YodaoBot / 1. 0 ;;）

　　跟踪链接

　　为了在网络上尽可能多地爬网，搜索引擎蜘蛛将跟随页面上的链接并从一个页面爬到下一页，就像在蜘蛛网上爬行的蜘蛛一样。这就是名称搜索引擎Spider的由来。最简单的爬网遍历策略分为两种，一种是深度优先，另一种是广度优先。

　　深度优先搜索

　　深度优先搜索将始终只在搜索树的每个级别上扩展一个子节点，并继续进行深度扩展，直到它不再扩展（到达叶节点或受深度限制）为止，然后再从中返回当前节点到上一个节点。级别节点，继续朝另一个方向前进。这种方法的搜索树是从树枝的根开始逐渐形成的。

　　深度优先搜索也称为垂直搜索。由于可解决的问题树可能收录无限分支，因此，如果深度优先搜索误入无限分支（即深度是无限的），则不可能找到目标节点。因此，深度优先搜索策略是不完整的。此外，通过应用此策略获得的解决方案不一定是最佳解决方案（最短路径）。

　　宽度优先搜索

　　在深度优先搜索算法中，深度较大的节点首先被扩展。如果将算法更改为根据搜索中节点的级别进行搜索，则在不搜索和处理该层的节点时，将无法处理较低层的节点，即深度较小的节点将首先被扩展，也就是说，可以首先扩展第一个节点，这种搜索算法称为广度优先搜索方法。

　　在深度优先搜索算法中，深度较大的节点首先被扩展。如果将算法更改为根据搜索中节点的级别进行搜索，则在不搜索和处理该层的节点时，将无法处理较低层的节点，即深度较小的节点将首先被扩展，也就是说，可以首先扩展第一个节点，这种搜索算法称为广度优先搜索方法。

　　吸引蜘蛛

　　哪些页面被认为更重要？有几个影响因素：

　　网站和页面粗细。具有较高质量和高级资历的网站被认为具有较高的权重，并且网站上的页面爬网深度也将更高，因此，更多的内部页面将为收录。

　　页面的更新速率。蜘蛛每次爬网时，都会存储页面数据。如果第二次爬网发现该页面与第一个收录完全相同，则意味着该页面尚未更新，因此不需要蜘蛛频繁地爬网。如果页面的内容经常更新，则Spider会更频繁地访问该页面，并且Spider会自然地更快地跟踪出现在页面上的新链接并抓取新页面。

　　导入链接。无论是外部链接还是相同的内部链接网站，为了被蜘蛛抓取，必须有一个导入链接才能进入该页面，否则，蜘蛛就没有机会知道该页面的存在。 。高质量的导入链接通常还会增加页面上导出链接的深度。一般而言，首页在网站上的权重最高。大多数外部链接都指向主页，并且主页是蜘蛛最常访问的页面。您越接近首页，页面的权重就越高，被蜘蛛爬行的机会就越大。

　　地址库

　　为了避免重复爬网和爬网URL，搜索引擎将构建一个地址库，以记录已发现未爬网的页面和已爬网的页面。地址数据库中有多个uRL来源：

　　（1)手动输入的*敏*感*词*网站。（2)蜘蛛抓取页面后，它将解析HTML中的新链接uRL，并将其与地址数据库中的数据进行比较。如果没有地址，网址存储在要访问的地址库中。（3)网站站长通过搜索引擎网页提交表格提交的网址。

　　Spider根据重要性从要访问的地址库中提取uRL，访问并获取页面，然后从要访问的地址库中删除uRL，并将其放入访问的地址库中。

　　大多数主要的搜索引擎都为网站站长提供了一种提交URL的表格。但是，这些提交的URL仅存储在地址数据库中。 收录是否取决于页面的重要性。搜索引擎收录的大多数页面都是由蜘蛛跟随链接本身获得的。可以说提交页面基本上没有用，搜索引擎更喜欢沿着链接本身发现新页面。

　　由搜索引擎蜘蛛抓取的文件存储数据存储在原创页面数据库中。页面数据与用户浏览器获得的HTML完全相同。每个uRI都有一个唯一的文件编号。

　　在爬网期间检测复制的内容检测和删除复制的内容通常是在下面描述的预处理过程中进行的，但是现在，爬网程序还在爬网和爬网文件时执行一定程度的复制内容检测。当以非常低的重量在网站上遇到大量重印或抄袭的内容时，爬网很可能不会继续。这就是为什么某些网站管理员在日志文件中发现蜘蛛的原因，但该页面从未出现过收录。

　　预处理

　　在某些SEO材料中，“预处理”也称为“索引编制”，因为索引编制是预处理的最重要步骤。

　　由搜索引擎蜘蛛抓取的原创页面不能直接用于查询排名处理。搜索引擎数据库中的页面数超过万亿。用户输入搜索词后，排名程序会实时分析这么多页面的相关性，并且计算量太大，无法在一两秒钟内返回排名结果。因此，必须对爬网的页面进行预处理，以准备最终的查询排名。

　　像爬网一样，预处理是在后台预先完成的，用户在搜索时不会感觉到这一过程。

　　提取文字

　　当前的搜索引擎仍基于文本内容。除了用户可以在浏览器上看到的可见文本之外，爬虫爬网的页面中的HTML代码还收录大量HTML格式标签，JavaScript程序和其他无法用于排名的内容。搜索引擎预处理的第一件事是从HTML文件中删除标签和程序，并提取可用于排名处理的网页文本内容。

　　今天是愚人节

　　在删除HTML代码之后，用于排名的其余文本就是这一行：

　　今天是愚人节

　　除了可见文本之外，搜索引擎还将提取一些收录文本信息的特殊代码，例如Meta标签中的文本，图片的替代文本，Flash文件的替代文本以及链接锚文本。

　　中文分词

　　分词是中文搜索引擎迈出的独特一步。搜索引擎存储和处理页面，用户搜索基于单词。单词和英语等语言中的单词之间存在空格，搜索引擎索引程序可以将句子直接分为单词集合。但是，中文单词之间没有分隔符，句子中的所有字符和单词都连接在一起。搜索引擎必须首先区分哪些字符组成一个单词，哪些字符本身就是单词。例如，“减肥方法”将分为两个词“减肥”和“方法”。

　　中文分词方法基本上有两种，一种是基于字典匹配的，另一种是基于统计的。

　　基于字典匹配的方法是将要分析的一个汉字与预建字典中的一个条目进行匹配。从要分析的中文字符串扫描字典中的现有条目将成功匹配。或切出一个字。

　　根据扫描方向，基于字典的匹配可以分为正向匹配和反向匹配。根据匹配长度的优先级，可以分为最大匹配和最小匹配。首先将扫描方向和长度混合在一起，然后可以生成不同的方法，例如前向最大匹配和反向最大匹配。

　　字典匹配方法易于计算，其准确性在很大程度上取决于字典的完整性和更新性。

　　基于统计的分词方法是指分析大量的文本样本并计算彼此相邻出现的词的统计概率。单词彼此相邻出现的次数越多，形成单词的可能性就越大。基于统计的方法的优点是它对新单词的反应更快，也有助于消除歧义。

　　基于字典匹配和统计的分词方法各有优缺点。实际使用中的分词系统结合了两种方法，既快速又高效，可以识别新词和新词，消除歧义。

　　中文分词的准确性通常会影响搜索引擎排名的相关性。例如，如果您在百度上搜索“搜索引擎优化”，您会从快照中看到百度将六个单词“搜索引擎优化”视为一个单词。

　　在Google上搜索相同的单词时，快照显示Google将其分为两个单词：“搜索引擎”和“优化”。显然，百度的细分更加合理，搜索引擎优化是一个完整的概念。 Google往往在单词分割方面比较零散。

　　这种分词差异可能是某些关键词排名在不同搜索引擎中具有不同性能的原因之一。例如，百度更愿意完全匹配页面上的搜索词。也就是说，当搜索“ Footplay Blog”时，这四个词连续而完整地出现将使在百度上获得较好排名变得更加容易。 Google与此不同，不需要完全匹配。在某些页面上，会出现单词“ Guo Xi”和“ Blog”，但不必完全匹配。 “ Guo Xi”出现在前面，“ Blog”出现在页面的其他位置。在Google中搜索此类页面以获得“国歌博客”，您也可以获得很好的排名。

　　搜索引擎对页面的分词取决于分词算法的规模，准确性和质量，而不是页面本身，因此SEO人员只能进行很少的分词。唯一可以做的就是使用某种形式在页面上提示搜索引擎。某些单词应视为一个单词，尤其是在可能存在歧义的情况下，例如页面标题中的关键词，h1标签和粗体字。如果页面是关于“和服”的，则两个单词“和服”可以用粗体标记。如果该页面是关于“化妆品”，则可以将“ clothing”一词标记为粗体。这样，当搜索引擎分析页面时，它知道以粗体标出的单词应该是单词。

　　去停词

　　无论是英文还是中文，页面内容中都会出现一些频繁出现但对内容没有影响的单词，例如“的”，“地”，“得”和其他辅助词，“啊”，感叹词（例如“ ha”和“ yah”），副词或介词（例如“ thebyby”，“ yi”和“ que”）。这些词称为停用词，因为它们对页面的主要含义没有影响。英文常见的停用词包括a，an，to，of等。

　　搜索引擎将在索引页面之前删除这些停用词，以使索引数据的主题更加突出并减少不必要的计算。

　　消除噪音

　　大多数页面上还有一部分内容与页面主题无关，例如版权声明文本，导航栏，广告等。以普通博客导航为例，导航内容例如分类和历史档案几乎出现在每个博客页面上，但这些页面本身与“类别”和“历史”一词无关。当用户搜索“历史”和“类别” 关键词时，仅因为这些单词出现在页面上而返回博客文章是没有意义的，并且完全不相关。因此，这些块都是杂音，只能起到分散页面主题的作用。

　　搜索引擎需要识别并消除这些噪音，并且在排名时不要使用噪音内容。去噪的基本方法是根据HTML标签将页面划分为块，区分页眉，导航，正文，页脚，广告和其他区域。 网站上的大量重复块通常是噪声。对页面进行去噪后，剩下的就是页面的主要内容。

　　删除重复

　　搜索引擎还需要对页面进行重复删除。

　　同一文章文章通常在不同的网站和相同的网站的不同URL上反复出现。搜索引擎不喜欢这种重复性内容。当用户搜索时，如果他们在前两页中看到不同文章网站上的同一文章文章，则尽管它们都是与内容相关的，但用户体验却太差了。搜索引擎希望只返回同一文章中的一篇文章，因此它需要在索引之前识别并删除重复的内容。此过程称为“重复数据删除”。

　　重复数据删除的基本方法是计算页面特征关键词的指纹，即从页面的主要内容中选择最具代表性的部分关键词（通常是最频繁出现的关键字），然后计算这些关键词的数字指纹。在关键词的选择是在分词，停止单词删除和降噪之后。实验表明，通常选择10个特征关键词可以达到较高的计算精度，选择更多的单词对重复数据删除精度的提高没有太大贡献。

　　典型的指纹计算方法，例如MD5算法（信息摘要算法的第五版）。这种指纹算法的特征是输入中的任何细微变化（特征关键词）都会导致计算出的指纹有很大的缺口。

　　了解搜索引擎的重复数据删除算法后，SEO人员应该知道，简单地添加“的”，“地”，“得”并更改段落顺序（即伪原创）无法逃脱搜索引擎。繁重的算法，因为这样的操作无法更改文章 关键词的特征。此外，搜索引擎的重复数据删除算法可能不仅限于页面级别，还限于段落级别。混合使用不同的文章并交叉切换段落的顺序不能使重印和窃成为原创。

　　正向索引编制

　　前向索引也可以简称为索引。

　　在文本提取，分词，去噪和重复数据删除之后，搜索引擎将获得反映页面主要内容且基于单词的独特内容。接下来，搜索引擎索引程序可以提取关键词，根据被分词程序划分的单词将页面转换为一组关键词，并记录每个关键词。格式（例如出现在title标签，粗体字，H标签，锚文本等），位置（例如页面的第一段等）。这样，每个页面可以记录为一系列关键词集，其中还记录了每个关键词的权重信息，例如词频，格式和位置。

　　搜索引擎索引程序将页面和关键词存储到索引库中的词汇表结构中。表2-1显示了索引词汇的简化形式。

　　每个文件对应一个文件ID，并且文件的内容表示为一组关键词。实际上，在搜索引擎索引库中，关键词也已转换为关键词 ID。这样的数据结构称为前向索引。

　　倒排索引

　　前向索引不能直接用于排名。假设用户搜索关键词2。如果只有前向索引，则排名程序需要扫描索引库中的所有文件，找到收录关键词 2的文件，然后执行相关性计算。此计算量无法满足实时返回排名结果的要求。

　　因此，搜索引擎会将前向索引数据库重建为反向索引，并将从文件到关键词的映射转换为从关键词到文件的映射，如表2-2所示。

　　在倒排索引中，关键词是主键，每个关键词对应于一系列文件，并且此关键词出现在这些文件中。这样，当用户搜索某个关键词时，排序程序便将该关键词定位在倒排索引中，并可以立即找到收录该关键词的所有文件。

　　链接关系的计算

　　链接关系的计算也是预处理的重要部分。现在，所有主流搜索引擎排名因素都包括网页之间的链接流信息。搜索引擎获取页面内容后，必须预先计算：页面上的哪些链接指向其他页面，每个页面上的导入链接以及链接中使用的锚文本。这些复杂的链接指向关系形成网站和页面的链接权重。

　　Google PR值是这种链接关系的最重要体现之一。其他搜索引擎也执行类似的计算，尽管它们不称为PR。

　　由于页面和链接的数量巨大，Internet上的链接关系不断更新，因此链接关系和PR的计算需要很长时间。有关于PR和链接分析的特殊章节。

　　特殊文件处理

　　除了HTML文件之外，搜索引擎通常还可以抓取和索引各种基于文本的文件类型，例如PDF，Word，WPS，XLS，PPT，TXT文件等。我们经常在搜索中看到这些文件类型结果。但是，当前的搜索引擎无法处理图像，视频和Flash等非文本内容，也无法执行脚本和程序。

　　尽管搜索引擎在识别图片和从Flash提取文本内容方面已经取得了一些进展，但仍远没有直接从读取图片，视频和Flash内容返回结果的目标。图片和视频内容的排名通常基于与它们有关的文本内容。有关详细信息，请参阅下面的集成搜索部分。

　　排名

　　在搜索引擎程序通过搜索引擎蜘蛛抓取的界面计算了反向索引之后，搜索引擎随时可以处理用户搜索。用户在搜索框中填写关键字后，排名程序将调用索引数据库数据，计算排名并将其显示给客户。排名过程与客户直接互动。