网站内容更新策略(搜索引擎蜘蛛系统中待爬取URL队列中的排列顺序)

　　网站内容更新策略(搜索引擎蜘蛛系统中待爬取URL队列中的排列顺序)

　　在搜索引擎蜘蛛系统中，待抓取的 URL 队列是非常关键的部分。需要被蜘蛛抓取的网页的 URL 被排列成队列结构。调度器每次从队列头中取出一个URL发送给网页Downloader页面内容，每个新下载的页面所收录的URL都会被追加到待爬取URL队列的尾部，从而形成一个循环，整个爬虫系统可以说是由这个队列驱动的。同样，我们的 网站 每天都要经过这样一个队列，让搜索引擎抓取。

　　那么如何确定要爬取的URL队列中的页面URL的顺序呢？上面我们说过，将新下载页面中收录的链接附加到队列末尾当然是确定队列 URL 顺序的一种方法，但不是唯一的方法。对要爬取的 URL 进行排序。那么搜索引擎蜘蛛遵循什么策略进行爬取呢？让我们进行更深入的分析。

　　Section 一、 宽度优化遍历策略

　　宽度优化遍历是一种非常简单直观的遍历方式，历史悠久，自搜索引擎爬虫出现以来就一直采用这种方式。新提出的爬取策略经常使用这种方法作为比较基准，但需要注意的是，这种策略也是一种非常强大的方法，很多新方法并没有实际效果。这种方法也是很多实际爬虫系统首选的爬取策略。网络爬取的顺序基本上是根据网页的重要性来排序的。这样做的原因是，有研究人员认为，如果一个网页收录大量的传入链接，则更有可能通过宽度优化遍历策略提前爬取，而传入链接的数量反映了网页从侧面，也就是说，事实上，

　　Section 二、 不完整的pagerank策略

　　PageRank 是一种著名的链接分析算法，可以用来衡量网页的重要性。很自然的想到用PageRank的思路来对URL优化等级进行排名。但是这里有一个问题。PageRank是一个全局算法，也就是说，当所有网页都被下载时，计算结果是可靠的。爬虫的目的是下载网页，在运行过程中只能看到一部分页面。因此，处于爬取阶段的页面无法获得可靠的 PageRank 分数。对于下载的网页，在待爬取的URL队列中加入一个URL，形成一个网页集合，在这个集合中进行PageRank计算。按高低排序，得到的序列是爬虫接下来应该爬取的URL列表。这就是为什么它被称为“不完整的PageRank”。

　　三、OPIC 策略（在线页面重要性计算）

　　OPIC字面意思是“在线页面重要性计算”，可以看作是改进的PageRank算法。在算法开始之前，每个互联网页面都被赋予相同数量的*敏*感*词*，每当某个页面P被下载时，P就会将其拥有的*敏*感*词*平均分配给该页面所收录的链接页面，而hydrogen自己的*敏*感*词*将被清空。对于URL队列中待爬取的网页，按照手头*敏*感*词*数量进行排序，*敏*感*词*最多的网页优先下载。OPIC在大框架上与PageRank基本一致。不同的是，PageRank 每次都需要迭代。计算，而 OPIC 策略不需要迭代过程。所以计算速度比PageRank快很多，适合实时计算使用。同时，在计算PageRank的时候，对于没有链接关系的网页有一个长距离的跳转过程，但是OPIC没有这个计算因子。实验结果表明，OPIC是一种较好的重要性度量策略，其效果略好于宽度优化遍历策略。

　　四、 大网站优化策略

　　大部分优化策略很直接：以网站为单位选择网页的重要性，根据其网站对URL队列中待爬取的网页进行分类，如果网站 @网站 正在等待 下载最多的页面优化为优先下载这些链接，本质思想倾向于先下载大的网站。因为大的 网站 往往收录更多的页面。鉴于大型网站往往是知名公司的内容，其网页质量普遍较高，这个思路虽然简单，但有一定的依据。实验表明，该算法的效果略高于广度优先遍历策略。

　　五、 页面的页面更新策略

　　互联网的活力是其鲜明的特点。随时出现新页面，更改页面内容或删除原创页面。对于爬虫来说，即使任务完成，也不必在本地爬取网页，也能体现互联网的动态性。本地下载的网页可视为互联网页面的镜像，爬虫应尽可能保证其一致性。可以假设这样一种情况：一个网页被删除或者内容发生了较大的变化，但是搜索引擎对它一无所知，仍然按照它的旧内容进行排序，作为搜索结果提供给用户，并且它的用户体验是相似的。坏是不言而喻的。因此，对于已经爬取的网页，爬虫还负责使其内容与互联网页面的内容保持同步，这取决于爬虫使用的网页更新策略。网页更新策略的任务是决定何时重新抓取之前下载的网页，以使本地下载的网页尽可能与原创网页内容一致。常用的网页更新策略有三种：历史参考策略、用户体验策略和整群抽样策略。

　　(1）什么是历史参考政策？

　　历史参考策略是最直观的更新策略。它基于以下假设：过去经常更新的网页将来也会经常更新。因此，为了估计网页何时更新，您可以参考其历史记录。更新情况以做出决定。

　　从这点可以看出，我们的网站更新一定要定期进行，这样搜索引擎蜘蛛才能更好的关注你的网站，把握你的网站，当很多人们更新网站，他们不知道为什么需要定期更新，这才是真正的原因。

　　（2）什么是用户体验策略？

　　这是显而易见的，每个人都知道。一般来说，搜索引擎用户提交查询结果后，可能会有上千条相关搜索结果，但用户没有耐心查看后面的搜索结果，往往只屏蔽前三页的搜索内容。用户体验策略就是利用搜索引擎用户的这个特性来设计更新策略。

　　(3）聚类抽样策略

　　上面介绍的两种网页更新策略在很大程度上依赖于网页的历史更新信息，这是后续计算的基础。但实际上，要保存每个网页的历史信息，搜索系统会增加额外的负担。从另一个角度来说，如果是第一次爬取的网页，由于没有历史信息，无法按照这两种思路估计其更新周期，提出了整群抽样策略来解决上述缺点。一个网页一般都有一些属性，根据这些属性可以预测它的更新周期。具有信任属性的网页的更新周期也类似。

　　上面简单了解了搜索引擎蜘蛛的爬取过程和爬取策略之后，是不是应该思考一下呢？尝试对您的 网站 进行更改？上述一些原因表明，搜索引擎的更新是定期、系统地进行的。为了更适应搜索引擎的更新原理和蜘蛛爬取的原理，我们应该从更基础的基础入手，进行全面的分析总结。.