搜索引擎如何抓取网页( 下周讲解搜索引擎优先抓取策略，先简单的温故下(组图))

　　搜索引擎如何抓取网页(

下周讲解搜索引擎优先抓取策略，先简单的温故下(组图))

　　搜索引擎爬虫网页优先爬取策略

　　作为一名搜索引擎优化师，你至少要了解一些搜索引擎的原理，比如搜索引擎的四大基本体系、爬虫的爬取策略、如何识别网页之间的相似度、爬虫与网站@的交互> 等等等等，推荐阅读《走进搜索引擎》。如果需要了解更多的技术原理，可以参考其他书籍。

　　公司部门近期将每周进行2-3次seo培训。上周的培训内容是“搜索引擎信息提取与网页重复检查”的一些基础知识，我来讲解一下。由于时间有限，准备工作不足，再加上内容比较抽象，新人基础薄弱，大家很难理解。大多数原因都在我这边，但我可以在每次培训中找到一些改进。团队技能和一些提高自己能力的方法。

　　下周我会讲解搜索引擎的优先爬取策略。首先，我将简要回顾一下基础知识。

　　网页爬取优先策略可以简单理解为“页面选择问题”，即搜索引擎爬虫首先尝试爬取重要的网页，那么如何衡量网页的重要性，如何量化重要性呢？我们可以从以下三个方面来考虑。

　　一个网页的重要性可以从链接流行度、链接重要性和平均链接深度来衡量

　　定义链接的流行度IB（P），主要由反向链接的数量和质量决定。直观地说，一个网页有更多指向它的链接，这意味着其他网页可以识别它。同时，这个网页被网民访问的机会越大，网页被网民访问的机会就越大。将再次检查网页的质量。如果它被更重要的网页指向，那么它的重要性会更高。这里会有问题。如果不考虑质量，就会出现局部优化而不是全局优化的问题，最典型的例子就是网页作弊。但是，这里会有很多问题，并且可以细分。我不想误解孩子们。至于做多少外链，怎么做，大家可以自己测试。我只能从宏观的角度讲。两者的质量同等重要，搜索引擎要从多方面综合计算一个网页的质量。

　　定义链接重要性 IL(p) 它是 url 字符串的函数。它只检查字符串本身。链接重要性主要通过一些模式，例如收录“.com”或“home”的url被认为是非常重要的，而带有较少斜杠（/）的url更重要。

　　平均链接深度定义为ID(p)，意思是如果一个*敏*感*词*站点集合中的每个*敏*感*词*站点都有一个链接（广度优先遍历规则）到达该网页，那么平均链接深度是一个重要指标这个网页的。距离洪流站点越近，被访问的机会就越大，因此重要性越高。可以认为洪流站点是那些最重要的页面。事实上，按照宽度优先的遍历规则，这种重要度高的网页是可以被优先抓取的。

　　最后，定义网页重要性的指标是 i(p)，由上述两个量化值线性确定。

　　i(p)=α*IB(p)+β*IL(p)

　　平均链接深度由广度优先遍历规则保证，因此不作为重要性评估的指标。在爬取能力有限的情况下，尽可能多地爬取重要的网页是合理和科学的，而那些重要度高的网页最终往往会被用户查询。

　　互联网正在动态变化。例如，搜索引擎如何抓取那些新添加的网页？如何返回那些被修改的页面？如何找到那些被删除的页面？将从识别“搜索引擎爬取策略的网页重访策略”中添加、修改和删除页面的三个变化开始。

　　本文来自：南通seo