搜索引擎蜘蛛系统中待爬取URL队列中的页面

　　搜索引擎蜘蛛系统中待爬取URL队列中的页面

　　在搜索引擎蜘蛛系统中，要爬网的URL队列是非常重要的部分。安排需要蜘蛛抓取的网页的URL，以形成一个队列结构。调度程序每次都会从队列的开头取出一个特定的URL。发送到网页下载器页面内容后，每个新下载的页面中收录的URL将被附加到要爬网的URL队列的末尾，从而形成一个循环，整个爬网器系统可以说是由该队列驱动的。同样，我们的网站每天都会经过这样的队列，以供搜索引擎抓取。

　　那么如何确定要爬网的URL队列中页面URL的顺序？上面我们说过，新下载页面中收录的链接被附加到队列的末尾。当然，这是确定队列URL顺序的一种方法，但这不是唯一的方法。实际上，可以采用许多其他技术来实现此目的。要爬网的URL进行排序。那么搜索引擎蜘蛛会根据什么样的策略进行爬网呢？让我们在下面做更深入的分析。

　　第一、个宽度优化遍历策略

　　宽度优化遍历是一种历史悠久的非常简单直观的遍历方法，在搜索引擎爬网程序出现后就已被采用。新提出的爬网策略通常使用此方法作为比较的基准，但应注意，该策略也是一种非常强大的方法。昨天看不到许多新方法的实际效果。到目前为止，它比宽度优化遍历策略要好。此方法还是许多实际爬网系统采用的首选爬网策略。网页的爬网顺序基本上是根据网页的重要性排序的。因此，一些研究人员认为，如果一个网页收录许多入站链接，则宽度优化遍历策略很可能会对其进行早期爬网，并且入站链接的数量从侧面反映了网页的重要性，即，实际上，宽度优化遍历策略暗示了一些网页优化级别的假设。

　　二、不完整的网页排名策略

　　PageRank是一种众所周知的链接分析算法，可用于衡量网页的重要性。自然地，人们可以想到使用PageRank的想法来对URL优化级别进行排名。但是这里有一个问题。 PageRank是一种全局算法，这意味着当下载所有网页时，计算结果是可靠的。采集器的目的是下载网页，并且在操作过程中只能看到部分页面。因此，在爬网阶段无法获得可靠的PageRank分数。对于下载的网页，在URL队列中添加要爬网的URL，以形成网页集合。 PageRank计算在此集合中执行。计算完成后，将根据PageRank分数计算要抓取的URL队列中的网页。按高和低排序，结果序列是爬网程序接下来应依次爬网的URL列表。这就是为什么它被称为“ Incomplete PageRank”的原因。

　　三、 OPIC策略（在线页面重要性计算）

　　OPIC的字面意思是“在线页面重要性计算”，可以看作是一种改进的PageRank算法。在算法开始之前，每个Internet页面都会获得相同数量的*敏*感*词*。每当下载页面P时，P都会将其拥有的*敏*感*词*平均分配到该页面中收录的链接页面中，而氢气自己的*敏*感*词*将被清空。对于要爬网的URL队列中的网页，将根据其拥有的*敏*感*词*量对其进行排序，然后首先下载*敏*感*词*最多的网页。 OPIC与大框架中的PageRank想法基本相同。区别在于：每次都需要迭代PageRank。计算，而OPIC策略不需要迭代过程。因此，计算速度比PageRank快得多，适合实时计算。同时，PageRank在进行计算时，存在到网页的远程跳转过程，而没有链接关系，而OPIC没有此计算因子。实验结果表明，OPIC是一种更好的重要性度量策略，其效果比宽度优化遍历策略要好。

　　四、主站的优化策略

　　最优化策略的思想很简单：使用网站作为选择网页重要性的单位，如果要抓取的URL队列中的网页根据其网站进行分类哪个网站正在等待下载最多进行了优化，首先下载这些链接，并且基本思想倾向于优先下载大的网站。因为大网站倾向于收录更多页面。鉴于大型网站通常是知名公司的内容，并且它们的网页通常是高质量的，所以此想法很简单，但是有一定的基础。实验表明，该算法的效果优于宽度优先遍历策略。

　　五、网页更新策略

　　Internet的动态特性是其独特之处。任何时候都会出现新页面，更改页面内容或删除现有页面。对于爬虫来说，即使任务已完成，也并非Web本地爬网，它还必须反映Internet的动态性质。可以将本地下载的网页视为Internet页面的镜像，并且采集器应尽可能确保其一致性。可以假设一种情况：某个网页已被删除或内容发生了重大变化，搜索引擎对此一无所知，仍然根据其旧内容对其进行排序，并将其作为搜索结果提供给用户记录。用户体验这是可怕的和不言而喻的。因此，对于已爬网的网页，爬网程序还负责使其内容与Internet页面的内容保持同步，这取决于爬网程序使用的网页更新策略。网页更新策略的任务是决定何时重新爬网以前下载的网页，以使本地下载的网页的内容尽可能与Internet上的原创网页一致。常用的网页更新策略有三种：历史参考策略，用户体验策略和集群抽样策略。

　　（[1）什么是历史参考策略？

　　历史参考策略是最直观的更新策略。它基于这样的假设：过去频繁更新的网页将来会频繁更新。因此，为了估算何时更新网页，您可以通过参考历史更新来做出决定。

　　从这一点上，我们可以看到必须定期进行网站的更新，以便搜索引擎蜘蛛可以更好地关注您的网站并掌握您的网站。更新网站时，很多人不知道为什么要定期更新。这就是它真正存在的原因。

　　（[2）什么是用户体验策略？

　　这很明显，每个人都知道。一般来说，搜索引擎用户提交查询结果后，可能会有成千上万的相关搜索结果，但用户没有耐心查看排名靠后的搜索结果，通常只屏蔽搜索的前三页内容。用户体验策略是使用搜索。引擎用户的此功能用于设计更新策略。

　　（[3）集群抽样策略

　　上述两种网页更新策略在很大程度上依赖于网页的历史更新信息，因为这是后续计算的基础。但是实际上，为了保存每个网页的历史信息，搜索系统会增加额外的负担。从另一个角度来看，如果它是第一个爬网的网页，因为没有历史信息，就不可能根据聚类采样这两个思路来估计更新周期，因此提出了解决上述缺点的策略。网页通常具有一些属性。基于这些属性，可以预测更新周期。具有信念属性的网页的更新周期类似。

　　在简要了解搜索引擎蜘蛛的爬网过程和爬网策略之后，您会考虑一下吗？尝试更改您的网站？上述某些原因表明，搜索引擎的更新是以常规且结构化的方式进行的。如果我们想更适应搜索引擎的更新原理和蜘蛛爬行的原理，则应该从更基本的方法入手，并进行全面的分析和总结。