网站内容更新策略(一个网站更新频率与爬虫访问网站的频率越接近越好)

　　网站内容更新策略(一个网站更新频率与爬虫访问网站的频率越接近越好)

　　网站的网页经常更新。作为爬虫，网页更新后，我们需要更新这些网页

　　爬行，如何把握合适的爬行时间？如果网站更新太慢，必然会增加爬虫和网站servers的数量

　　压力大，如果更新比较快，但是爬取间隔比较长，那么爬取的内容版本就会太旧，不利于新的

　　内容抓取。因此，需要尽可能地把握网站的更新频率和爬虫访问网站的频率。尤其是我们

　　当爬虫资源有限时，爬虫也需要根据相应的策略，让不同的网页有不同的更新优先级。

　　具有高优先级的网页更新将获得更快的抓取响应。

　　常见的网页更新策略主要有三种：用户体验策略、历史数据策略、聚类分析策略等，以下是策略。

　　描述。

　　当搜索引擎查询某个关键词时，会出现一个排名结果。在排名结果中，通常会有大量的

　　网页，然而，大多数用户只会关注排名靠前的页面，所以在爬虫服务器资源有限的情况下

　　下

　　，爬虫会优先更新排名结果最高的网页。这种更新策略，我们称之为用户体验策略，然后

　　在这个策略中，爬虫什么时候会抓取这些排名靠前的网页？这时候在爬取中会保留相应的

　　网页的多个历史版本，并根据这些多个历史版本的内容更新、搜索质量影响进行相应分析，

　　用户体验和其他信息来确定这些网页的抓取周期。

　　此外，我们还可以利用历史数据策略来确定更新和抓取网页的周期。例如，基于某个

　　网页的历史更新数据，通过泊松分布建模等方式，预测网页下次更新时间，从而

　　确定下次抓取页面的时间，即确定更新周期。

　　以上两种策略都需要历史数据作为依据。有时候，如果一个网页是一个新网页，就没有对应的

　　历史数据，如果要根据历史数据进行分析，需要爬虫服务器保存对应网页的历史版本

　　信息，这无疑给爬虫服务器带来了更大的压力和负担。如果要解决这些问题，就需要采用新的

　　更新策略。比较常用的是聚类分析策略。那么什么是聚类分析策略？

　　比如我们去商场的时候，商场里的产品一般都是分门别类的，方便顾客购买相应的产品。此时，产品

　　分类的类别是固定的，已经制定好了。但是，如果货物数量巨大，则不能提前

　　分类，换句话说，我不知道我们会有什么样的产品。这时候应该如何解决产品的分类问题

　　问题呢？

　　这时候可以用聚类的方法来解决问题，分析产品之间的共性，对共性较多的产品进行分类

　　归为一类。此时，产品聚合到的类别数量是不确定的，但可以保证的是聚合在一起的产品的数量

　　它们之间必然存在一定的共性，这是基于“物以类聚”的思想来实现的。

　　同样，在我们的聚类算法中，也会有类似的分析过程。

　　在爬虫更新的网页上使用聚类分析算法，我们可以做到这一点，如图3-4所示。

　　1） 首先，经过大量的研究发现，网页可能有不同的内容，但一般都有相似的属性

　　页面以类似的频率更新。这是聚类分析算法应用于爬虫更新的前提指导思想。

　　2） 以1中的指导思想，我们可以先对大量网页进行聚类分析，聚类后形成

　　多个类别，每个类别中的网页具有相似的属性，即一般具有相似的更新频率。

　　3） 聚类完成后，我们可以对同一聚类中的网页进行采样，然后采样结果的平均更新值，

　　确定每个集群的抓取频率。

　　以上是使用爬虫爬取网页时常见的三种更新策略。掌握了算法思路后，我们将

　　当我们跟进爬虫的实际开发时，写出来的爬虫的执行效率会更高，执行逻辑也会

　　更合理。