网站内容更新策略( 1.通用网络爬虫的实现原理及实现过程与过程分析)

　　网站内容更新策略(

1.通用网络爬虫的实现原理及实现过程与过程分析)

　　01 网页爬虫实现原理详解

　　不同类型的网络爬虫有不同的实现原理，但是这些实现原理有很多共同点。这里，我们以两种典型的网络爬虫（即普通网络爬虫和专注网络爬虫）为例，分别说明网络爬虫的实现原理。

　　1. 通用网络爬虫

　　首先我们来看看通用网络爬虫的实现原理。一般网络爬虫的实现原理和流程可以简单总结如下（见图3-1）.

　　▲图3-1 通用网络爬虫实现原理及流程

　　获取初始 URL。初始URL地址可以由用户人工指定，也可以由用户指定的一个或多个初始爬取网页确定。根据原来的 URL 爬取页面，得到一个新的 URL。获取初始URL地址后，首先需要爬取对应URL地址中的网页。爬取对应URL地址中的网页后，将网页存入原数据库，在爬取网页的同时寻找新的URL。同时，将爬取的URL地址存储在URL列表中，用于对爬取过程进行去重和判断。将新 URL 放入 URL 队列。第二步，获取下一个新的URL地址后，将新的URL地址放入URL队列中。从URL队列中读取新的URL，根据新的URL爬取网页，同时从新网页中获取新的URL，重复上述爬取过程。当爬虫系统设定的停止条件满足时，爬取停止。在编写爬虫时，一般会设置相应的停止条件。如果不设置停止条件，爬虫会一直爬到无法获取到新的URL地址。如果设置了停止条件，当满足停止条件时，爬虫将停止爬行。

　　以上就是一般网络爬虫的实现过程和基本原理。接下来，我们将分析聚焦网络爬虫的基本原理和实现过程。

　　2. 聚焦网络爬虫

　　专注于网络爬虫，因为它们需要有目的的爬取，所以对于通用网络爬虫，必须增加目标的定义和过滤机制。具体来说，此时它的执行原理和流程需要比通用的网络爬虫更多。分为三个步骤，即目标的定义、无关链接的过滤、下一步要爬取的URL地址的选择，如图3-2所示。

　　▲图3-2 聚焦网络爬虫的基本原理及实现流程

　　爬取目标的定义和描述。在聚焦网络爬虫中，首先要根据爬取需求定义聚焦网络爬虫的爬取目标，并进行相关描述。获取初始 URL。根据原来的 URL 爬取页面，得到一个新的 URL。从与爬网目标不相关的新 URL 中过滤掉链接。因为聚焦网络爬虫对网页的爬取是有目的的，与目标无关的网页会被过滤掉。同时，还需要将爬取的URL地址保存在一个URL列表中，用于对爬取过程进行去重和判断。将过滤后的链接放入 URL 队列。从URL队列中，根据搜索算法，确定URL的优先级，确定下一步要爬取的URL地址。在一般的网络爬虫中，接下来要爬到哪个URL地址不是很重要，但是在专注的网络爬虫中，由于它的目的，接下来要爬到哪个URL地址相对更重要。对于专注的网络爬虫来说，不同的爬取顺序可能会导致爬虫的执行效率不同。因此，我们需要根据搜索策略确定下一步需要抓取哪些URL地址。从下一步要爬取的URL地址，读取新的URL，然后根据新的URL地址爬取网页，重复上述爬取过程。当满足系统设置的停止条件，或者无法获取到新的URL时，停止爬取。接下来要爬取哪个URL地址相对来说比较重要。对于专注的网络爬虫来说，不同的爬取顺序可能会导致爬虫的执行效率不同。因此，我们需要根据搜索策略确定下一步需要抓取哪些URL地址。从下一步要爬取的URL地址，读取新的URL，然后根据新的URL地址爬取网页，重复上述爬取过程。当满足系统设置的停止条件，或者无法获取到新的URL时，停止爬取。接下来要爬取哪个URL地址相对来说比较重要。对于专注的网络爬虫来说，不同的爬取顺序可能会导致爬虫的执行效率不同。因此，我们需要根据搜索策略确定下一步需要抓取哪些URL地址。从下一步要爬取的URL地址，读取新的URL，然后根据新的URL地址爬取网页，重复上述爬取过程。当满足系统设置的停止条件，或者无法获取到新的URL时，停止爬取。从下一步要爬取的URL地址，读取新的URL，然后根据新的URL地址爬取网页，重复上述爬取过程。当满足系统设置的停止条件，或者无法获取到新的URL时，停止爬取。从下一步要爬取的URL地址，读取新的URL，然后根据新的URL地址爬取网页，重复上述爬取过程。当满足系统设置的停止条件，或者无法获取到新的URL时，停止爬取。

　　现在我们已经初步掌握了网络爬虫的实现原理和相应的工作流程，下面我们来了解一下网络爬虫的爬取策略。

　　02 爬取策略

　　在网络爬取的过程中，待爬取的URL列表中可能有多个URL地址。爬虫应该先爬这些 URL 地址中的哪一个，然后再爬取哪一个？

　　在一般的网络爬虫中，虽然爬取的顺序不是那么重要，但是在很多其他的爬虫中，比如专注的网络爬虫，爬取的顺序是很重要的，而且爬取的顺序一般是由爬取策略决定的。我们将向您介绍一些常见的爬取策略。

　　爬取策略主要包括深度优先爬取策略、广度优先爬取策略、大站点优先策略、反链策略等爬取策略。下面我们将分别介绍。

　　如图3-3所示，假设有一个网站，ABCDEFG是站点下的网页，图中的箭头代表网页的层次结构。

　　▲图3-3 某网站的网页层次图

　　如果此时网页ABCDEFG都在爬取队列中，那么根据不同的爬取策略，爬取的顺序是不同的。

　　例如，如果按照深度优先的爬取策略进行爬取，则先爬取一个网页，然后依次爬取该网页的下层链接，然后返回上一层进行爬取.

　　因此，如果采用深度优先的爬取策略，图3-3中的爬取顺序可以是：A→D→E→B→C→F→G。

　　如果遵循广度优先的爬取策略，会先爬取同级别的网页。同级网页全部爬取完成后，选择下一级网页进行爬取。比如上面的<in@网站，如果按照广度优先的爬取策略进行爬取，爬取顺序可以是：A→B→C→D→E→F→G。

　　除了以上两种爬取策略，我们还可以采用大站点爬取策略。我们可以根据相应网页所属的站点进行分类。如果某个网站有大量的网页，那么我们就称它为大站点。按照这个策略，网页越多的网站个数越大，优先抓取大站点中网页的URL地址。

　　一个网页的反向链接数是指该网页被其他网页指向的次数，这个次数代表了该网页在一定程度上被其他网页推荐的次数。因此，如果按照反向链接策略进行爬取，那么哪个网页的反向链接多，就会先爬到哪个页面。

　　但是，在实际情况中，如果只是简单地根据反向链接策略来确定网页的优先级，可能会有很多作弊行为。比如做一些垃圾站群，把这些网站相互链接，这样的话，每个站点都会得到更高的反向链接，从而达到作弊的目的。

　　作为爬虫项目方，我们当然不希望被这种作弊行为所打扰，所以如果使用反向链接策略进行爬取，一般会考虑可靠的反向链接数。

　　除了以上的爬取策略，实践中还有很多其他的爬取策略，比如OPIC策略、Partial PageRank策略等等。

　　03 网页更新策略

　　网站 网页经常更新。作为爬虫，网页更新后，我们需要再次爬取这些网页，那么什么时候爬取合适呢？如果网站更新太慢，爬虫获取太频繁，势必会增加爬虫和网站服务器的压力。如果 网站 更新较快，但爬取时间间隔较短。如果太长，我们爬取的内容版本会太旧，不利于新内容的爬取。

　　显然，网站的更新频率越接近爬虫访问网站的频率，效果越好。当然，在爬虫服务器资源有限的情况下，爬虫也需要根据相应的策略制作不同的网页。更新优先级不同，优先级高的网页更新会得到更快的爬取响应。

　　具体来说，常见的网页更新策略有三种：用户体验策略、历史数据策略、聚类分析策略等，下面我们分别进行讲解。

　　当搜索引擎查询某个关键词时，就会出现一个排名结果。在排名结果中，通常会有大量的网页。但是，大多数用户只会关注排名靠前的网页。因此，在爬虫服务器资源有限的情况下，爬虫会优先更新排名结果最高的网页。

　　这个更新策略，我们称之为用户体验策略，那么在这个策略中，爬虫究竟是什么时候抓取这些排名靠前的页面呢？此时，在爬取过程中会保留对应网页的多个历史版本，并进行相应的分析，根据内容更新、搜索质量影响、用户体验和用户体验来确定这些网页的爬取周期这些多个历史版本的其他信息。

　　此外，我们还可以使用历史数据策略来确定爬取网页更新的周期。例如，我们可以根据某个网页的历史更新数据，通过泊松过程建模等手段，预测该网页的下一次更新时间，从而确定下一次抓取该网页的时间，即确定更新周期。

　　以上两种策略都需要历史数据作为基础。有时候，如果一个网页是一个新的网页，会没有对应的历史数据，如果要根据历史数据进行分析，爬虫服务器需要保存对应网页的历史版本信息，这无疑带来了爬虫服务器。更多的压力和负担。

　　如果要解决这些问题，就需要采用新的更新策略。最常用的方法是聚类分析。那么什么是聚类分析策略呢？

　　在生活中，相信大家对分类都很熟悉。比如我们去商场，商场里的商品一般都是分类的，方便顾客购买相应的商品。此时，产品分类的类别是固定的。制定。

　　但是，如果商品数量巨大，无法提前进行分类，或者说根本不知道会有哪些类别的商品，这个时候，我们该如何解决商品分类？

　　这时候，我们可以使用聚类的方法来解决问题。根据商品之间的共性，我们可以对共性较多的商品进行分析，并将其归为一类。重要的是，聚集在一起的商品之间必须存在某种共性，即按照“同类事物聚集”的思想来实现。

　　同样，在我们的聚类算法中，也会有类似的分析过程。

　　我们可以通过将聚类分析算法应用于爬虫对网页的更新来做到这一点，如图 3-4 所示。

　　▲图3-4 网页更新策略的聚类算法

　　首先，经过大量研究发现，网页可能有不同的内容，但总的来说，具有相似属性的网页具有相似的更新频率。这是聚类分析算法应用于爬虫网页更新的前提和指导思想。有了1中的指导思想，我们可以先对大量的网页进行聚类分析。聚类后​​会形成多个类。每个类中的网页具有相似的属性，即它们通常具有相似的更新频率。. 聚类完成后，我们可以对同一个聚类中的网页进行采样，然后计算采样结果的平均更新值来确定每个聚类的爬取频率。

　　以上就是使用爬虫爬取网页时常见的三种更新策略。在我们掌握了他们的算法思路之后，我们在进行爬虫的实际开发时，编译出来的爬虫会更加高效的执行逻辑。会更合理。

　　04 网页分析算法

　　在搜索引擎中，爬虫抓取到对应的网页后，会将网页存储在服务器的原创数据库中。之后，搜索引擎会对这些网页进行分析，确定每个网页的重要性，从而影响用户检索的排名。结果。

　　所以在这里，我们需要对搜索引擎的网页分析算法有个简单的了解。

　　搜索引擎的网页分析算法主要分为三类：基于用户行为的网页分析算法、基于网络拓扑的网页分析算法和基于网页内容的网页分析算法。接下来，我们将分别解释这些算法。

　　1. 基于用户行为的网页分析算法

　　基于用户行为的网页分析算法很好理解。在该算法中，将根据用户对这些网页的访问行为对这些网页进行评估。例如，网页会根据用户访问网页的频率、用户访问网页的时间、用户的点击率等信息进行整合。评价。

　　2. 基于网络拓扑的网页分析算法

　　基于网络拓扑的网页分析算法是指通过网页的链接关系、结构关系、已知网页或数据等对网页进行分析的算法。所谓拓扑，简单来说就是结构关系。

　　基于网络拓扑的网页分析算法还可以细分为三种：基于页面粒度的分析算法、基于页块粒度的分析算法和基于网站粒度的分析算法。

　　PageRank算法是一种典型的基于网页粒度的分析算法。相信很多朋友都听说过Page-Rank算法。它是谷歌搜索引擎的核心算法。简单来说，它会根据网页之间的链接关系来计算网页的权重，并且可以依赖这些计算出来的权重。要排名的页面。

　　当然，具体的算法细节还有很多，这里就不一一说明了。除了PageRank算法，HITS算法也是一种常见的基于网页粒度的分析算法。

　　基于网页块粒度的分析算法也依赖网页之间的链接关系进行计算，但计算规则不同。

　　我们知道一个网页通常收录多个超链接，但一般不是所有指向的外部链接都与网站主题相关，或者说这些外部链接对网页的重要性，因此，要根据网页块的粒度分析，需要将网页中的这些外部链接分层，不同层次的外部链接对网页的重要性程度不同。

　　该算法的分析效率和准确性将优于传统算法。

　　基于网站粒度的分析算法也类似于PageRank算法。但是，如果使用基于 网站 粒度的分析，则会相应地使用 SiteRank 算法。也就是这个时候，我们将站点的层级和层级进行划分，不再具体计算站点下每个网页的层级。

　　因此，与基于网页粒度的算法相比，它更简单、更高效，但会带来一些缺点，例如精度不如基于网页粒度的分析算法准确。

　　3. 基于网页内容的网页分析算法

　　在基于网页内容的网页分析算法中，会根据网页的数据、文本等网页内容特征对网页进行相应的评价。

　　以上，我简单介绍了搜索引擎中的网页分析算法。我们在学习爬虫时需要对这些算法有相应的了解。

　　05 识别

　　在爬取网页的过程中，爬虫必须访问对应的网页，而普通的爬虫一般会告诉对应网页的网站站长自己的爬虫身份。网站的管理员可以通过爬虫通知的身份信息来识别爬虫的身份。我们称这个过程为爬虫的识别过程。

　　那么，爬虫应该如何告知网站站长自己的身份呢？

　　一般爬虫在爬取访问网页时，会通过HTTP请求中的User Agent字段告知自己的身份信息。一般爬虫在访问一个网站时，首先会根据站点下的Robots.txt文件确定可以爬取的网页范围。Robots 协议是网络爬虫必须遵守的协议。对于一些被禁止的 URL 地址，网络爬虫不应该爬取访问权限。

　　同时，如果爬虫在爬取某个站点时陷入死循环，导致该站点的服务压力太大，如果有正确的身份设置，那么该站点的站长可以想办法联系爬虫并停止相应的爬虫。

　　当然，有些爬虫会伪装成其他爬虫或者浏览器爬取网站来获取一些额外的数据，或者有些爬虫会不顾Robots协议的限制，任意爬取。从技术角度来看，这些行为实施起来并不难，但我们并不提倡这些行为，因为只有共同遵守良好的网络规则，爬虫和站点服务器才能实现双赢。

　　06 网络爬虫实现技术

　　通过前面的学习，我们对爬虫的基础理论知识基本有了比较全面的了解。那么，如果我们要实现网络爬虫技术，开发自己的网络爬虫，我们可以使用哪些语言进行开发呢？

　　开发网络爬虫的语言有很多种。常用语言有：Python、Java、PHP、Node.JS、C、Go等，下面我们将介绍这些语言编写爬虫的特点：

　　07 总结 关注网络爬虫。因为需要有目的的爬取，对于一般的网络爬虫来说，需要增加目标的定义和过滤机制。具体来说，此时它的执行原理和流程需要多爬虫多三个步骤，分别是目标的定义、无关链接的过滤、下一步要爬取的URL地址的选择。常见的网页更新策略有三种：用户体验策略、历史数据策略、聚类分析策略。可以根据商品之间的共性进行聚类分析，将共性较多的商品归为一类。在爬取网页的过程中，爬虫必须访问相应的网页。此时，常规爬虫通常会告诉相应网页的 网站 站长其爬虫身份。网站的管理员可以通过爬虫通知的身份信息来识别爬虫的身份。我们称这个过程为爬虫的识别过程。开发网络爬虫的语言有很多种。常用语言包括Python、Java、PHP、Node.JS、C、Go等。