seo优化搜索引擎工作原理(蜘蛛在蜘蛛网中抓去了所有的内容？（下）)

　　seo优化搜索引擎工作原理(蜘蛛在蜘蛛网中抓去了所有的内容？（下）)

　　1、 百度是否在0.04秒内抓取了互联网上的所有内容？? ?

　　2、 百度是不是提前抓取了内容，然后从自己的数据库中转移过来的？? ?

　　回答：

　　搜索引擎已经开始从互联网上抓取网页信息并建立自己的网页数据库。网民搜索时，百度会直接从数据库中检索数据，处理后呈现给网民。

　　注意：为什么第二次只比第一次快 0.001 秒？?

　　答：百度在处理网民搜索信息时，首先会在本地浏览器缓存中搜索网民是否搜索过相关信息。如果有，则从缓存中检索，如果没有，则从百度数据库中检索。

　　搜索引擎的工作过程分为三个阶段：

　　第一阶段：爬行爬行

　　第二阶段：预处理

　　第三阶段：排名

　　爬取和爬取是搜索引擎工作完成数据采集任务的第一步。

　　1、蜘蛛

　　搜索引擎用于抓取和访问页面的训练称为蜘蛛或机器人

　　搜索引擎蜘蛛访问网站页面时，与普通用户使用的浏览器类似。蜘蛛发出页面访问请求后，服务器返回HTML代码，蜘蛛程序将接收到的代码存储到原创页面数据库中。为了提高爬取和爬取的速度，搜索引擎都采用多蜘蛛并发分布爬取。

　　蜘蛛在访问任何网站事件时，首先会访问网站根目录下的robots.txt文件。如果robots.txt禁止蜘蛛抓取某些文件或目录，蜘蛛将遵守协议，不会抓取被禁止的网址。

　　常见的搜索引擎蜘蛛名称：

　　百度蜘蛛、雅虎中国蜘蛛、谷歌蜘蛛、微软必应蜘蛛、搜狗蜘蛛、搜搜蜘蛛、有道蜘蛛等等！

　　2 追踪链接

　　为了在网络上抓取尽可能多的页面，搜索引擎蜘蛛会跟随页面上的链接从一个页面爬到下一个页面，就像蜘蛛在蜘蛛网上爬行一样。这就是搜索引擎蜘蛛名称的由来。

　　整个互联网是由网站或相互链接的页面组成的。理论上，蜘蛛从任何页面开始，按照链接爬到互联网上的所有页面。

　　蜘蛛在爬取时需要采取一定的策略来遍历互联网上的所有页面（一些网站链接结构太复杂）

　　蜘蛛爬行策略分为两种，一种是深度爬行，一种是广度爬行。

　　A：深度爬行：蜘蛛沿着找到的页面链接向前爬行，直到前面没有其他链接，然后回到第一页，沿着另一个链接向前爬行！

　　B：广度爬行：当蜘蛛在一个页面上发现多个链接时，它不会沿着一个链接向前爬，而是爬取页面上所有的一级链接，然后继续沿着二级页面找到的链接爬到第三页！继续这样……

　　33. 吸引蜘蛛

　　理论上，蜘蛛可以抓取和抓取所有页面，但实际上它们不能也不会这样做。如果SEO人员想要更多的页面成为收录，就必须想办法吸引蜘蛛爬行。我们使用多种方法来吸引蜘蛛。

　　A：优化网站和页面的权重，增加蜘蛛访问量。

　　B：做好页面更新频率和内容质量

　　C：增加导入链接

　　D：离首页的点击距离；离首页的点击距离越近，页面权重越高，蜘蛛爬行的机会就越大

　　4 地址库

　　搜索引擎为了避免网页的重复抓取和抓取，会建立一个地址库来记录已发现但未抓取的页面，以及已抓取的页面。蜘蛛在页面上找到链接后，不是立即访问，而是将URL保存在地址库中，然后统一安排爬取。

　　搜索引擎会同时发送许多蜘蛛来抓取网页。如何避免重复爬行？

　　搜索引擎在抓取网页时会创建两个表

　　“找到未抓取的表”“已抓取的表”

　　蜘蛛抓取链接后，首先判断该链接是否已被抓取，如果已被抓取，则将其扔掉。如果没有，抓回来放入找到的未爬取的表中，如果未爬取的表中已经有，则放弃。

　　5、文件存储

　　搜索引擎蜘蛛抓取的数据存储在原创页面数据库中。页面数据与用户浏览器获取的 HTML 完全相同。每个 URL 都有一个唯一的文件编号。

　　6、 爬取时复制内容检测

　　蜘蛛在爬取和爬取文件时也会进行一定程度的复制内容检测。当在网站上遇到大量转载或抄袭，权重极低的内容时，极有可能无法继续爬取。

　　搜索引擎蜘蛛抓取的原创页面无法直接进行用户查询排名处理，因为搜索引擎数据库中的页面数在万亿以上。用户输入搜索词后，排名程序立即分析了这么多页面。排序工作量太大，不可能在一两秒内返回排序结果。因此，必须对抓取的页面进行预处理，为最终的查询排名做准备。

　　索引前有五个任务需要完成

　　(1）提取文本；(2）中文分词；(3）去停词；

　　(4）去除噪音；(5）去除重复(读冲)

　　经过以上五个步骤，搜索引擎将能够得到独特的、能够反映页面主要内容的基于词的内容。

　　把每一页网站都变成关键词的合集！同时记录每个关键词在页面上出现的频率、次数、格式（如：标题标签、粗体、H标签、锚文本等）位置（段落）。这些都以重量的形式记录下来！然后放到一个地方，这个地方就是这些复合词的词汇结构——索引库！

　　排名是指当用户输入关键词时，排名程序调用索引库中的数据，计算相关性，并按照一定的顺序生成搜索结果页面！

　　排名过程分为以下7个步骤：

　　1、搜索词处理

　　A：中文分词；我以前说过

　　B：转到停止词；我之前说过；

　　C：指令处理：搜索引擎默认的处理方式是在关键词之间使用“与”逻辑。例如，当用户搜索“网站建”时，搜索引擎默认为用户想要查找的内容。收录“网站”和“build”的页面！

　　D：如果用户输入了明显错误的单词或英文单词，搜索引擎会提示用户使用正确的单词或拼写！例如：搜索“建站技巧”

　　E：集成搜索触发器！比如在搜索名人的时候，图片、视频等所有与名人相关的内容都会出现！

　　种类

　　初始子集确定后，需要计算子集中页面内容的相关性，计算链接权重，计算用户的点击行为来确定页面的排名。

　　影响排名的主要因素如下

　　一、 页面内容相关性

　　二、链接权重

　　三、用户行为

　　一、页面相关性

　　指页面内容与用户查询的关键词的接近程度，主要由关键词的匹配程度、关键词的密度、分布决定关键词 和 关键词 的权重标签等确定。

　　(1）关键词匹配

　　关键词匹配度是指页面内容与用户查询关键词的匹配程度，主要由两个因素决定：

　　页面内容是否收录关键词。

　　关键词在页面上出现多少次，即页面上有多少个关键词。

　　(2）关键词 密度

　　为了有效防止网站站长恶意操纵搜索结果，搜索引擎会测量关键词词频占页面总词汇量的比例（即关键词密度值）。> 词频是否合理？

　　(3）关键词 分布

　　关键词分布是关键词出现在页面上的位置。关键词 出现在页面的不同位置会对页面的相关性产生一定的影响。

　　左上-右上-左-右-左下-右下

　　关键词相关性从左到右减少一次

　　(4）关键词的权重标签

　　在网页中，网页创建者使用不同的 HTML 标签，使页面中的相关内容实现不同的视觉效果（如字体样式、字体大小、颜色等）。各种HTML标签的灵活使用也有助于提高页面的相关性。

　　页面相关性总结：

　　页面相关性=关键词匹配值+关键词密度值+关键词分布值+标签权重值

　　二、链接权重

　　链接主要分为内部链接和外部链接

　　页面获取的链接越多，在一定程度上反映了页面越重要，链接权重值越高。

　　大多数网页都会有“入度”和“出度”。页面链接权重根据网页的入度数和提供入度的页面的权重（导入链接数和导入链接质量）计算

　　导入链接的质量：取决于源页面（链接所在页面）的权重

　　三、用户行为

　　搜索引擎完成页面的基本权重计算后，可以向用户展示初步的排名结果。但是，这种排序结果可能不能满足大多数用户，因此需要结合其他因素对排序结果进行改进。

　　用户在搜索结果上的点击行为是衡量页面相关性的因素之一。是提升排名结果、提高排名结果质量的重要补充。这是外部不可控因素。

　　• 用户点击搜索结果（点击率）

　　• 用户在网站 上的停留时间（平均停留时间）

　　• 网站 中用户浏览的页面数（平均访问的页面数）

　　• 网站的跳出率（只访问一个页面就离开的访问者占总访问者的比例。）跳出率越低越好。低于 80%

　　页面排序总结：

　　综上所述，搜索引擎通过计算页面相关性、链接权重值和用户行为的得分，得到页面的总权重值；然后，它根据页面的总权重值从高到低对页面进行排序，并将这个排序后的列表返回给用户，即：

　　页面权重值=页面相关性值+链接权重值+用户行为得分

　　5. 排名过滤和调整

　　排名过滤器主要针对涉嫌作弊方式作弊者调整！虽然根据之前的工作计算出的这些网站的权重和相关度很高，但是搜索引擎也会在最后一步过滤掉这些网站！

　　6. 排名显示效果

　　主要展示的是：原页面的title标签、description标签等数据！

　　注意：有些网站是搜索引擎，需要调用动态生成的页面摘要，而不是调用页面本身的描述！

　　7 搜索引擎缓存的作用：

　　搜索引擎会记录一些用户经常搜索的词，并将这些搜索到的排名记录存储在搜索引擎的缓存中。当用户再次搜索该词时，搜索引擎会直接调用缓存中的内容！这样就缩短了搜索响应时间，大大提高了排名效率！