网页抓取数据百度百科(一下2021年关于百度搜索引擎蜘蛛的工作原理大家了解多少)

　　网页抓取数据百度百科(一下2021年关于百度搜索引擎蜘蛛的工作原理大家了解多少)

　　[2022网站收录] 百度蜘蛛爬取页面及建索引库的原理 admin03-05 15:072 浏览量

　　百度搜索引擎蜘蛛的工作原理你知道多少？百度蜘蛛如何爬取页面并建立相应的索引库，相信很多低级别的SEO站长对此都不是很清楚，而相当一部分站长其实只是为了seo和seo，甚至只知道如何发送< @文章，外链和交易所链，seo真正的核心知识我没有做过太多的了解，或者只是简单的理解了但是没有应用到具体的实践中，或者没有进行更深入的研究，接下来，嘉洛SEO给大家分享2021年网站收录的知识——百度蜘蛛爬虫系统的原理和索引库的建立，

　　一、百度蜘蛛爬取系统基本框架

　　随着互联网信息的爆炸式增长，如何有效地获取和利用这些信息是搜索引擎工作的首要环节。数据爬取系统作为整个搜索系统的上游，主要负责互联网信息的采集、保存和更新。它像蜘蛛一样在网络中爬行，因此通常被称为“蜘蛛”。比如我们常用的几种常见的搜索引擎蜘蛛叫做：Baiduspdier、Googlebot、搜狗网络蜘蛛等。

　　蜘蛛爬取系统是搜索引擎数据来源的重要保障。如果将网络理解为一个有向图，那么蜘蛛的工作过程可以认为是对这个有向图的遍历。从一些重要的*敏*感*词*URL开始，通过页面上的超链接关系，不断发现新的URL并进行爬取，从而尽可能多地爬取有价值的网页。对于百度这样的大型爬虫系统，由于随时都有网页被修改、删除或者新的超链接出现的可能，所以需要保持蜘蛛过去爬过的页面不断更新，维护一个URL库和Page图书馆。

　　下图是蜘蛛爬取系统的基本框架图，包括链接存储系统、链接选择系统、dns解析服务系统、爬取调度系统、网页分析系统、链接提取系统、链接分析系统、网页存储系统。百度蜘蛛通过本系统的配合完成对互联网页面的爬取。

　　二、百度蜘蛛主要爬取策略类型

　　上图看似简单，但实际上百度蜘蛛在爬取过程中面临着一个超级复杂的网络环境。为了让系统尽可能多的抓取有价值的资源，保持系统中页面与实际环境的一致性，同时不会给网站的体验带来压力，会设计一个各种复杂的抓取策略。这里有一个简单的介绍：

　　爬行友好度

　　海量的互联网资源要求抓取系统在有限的硬件和带宽资源下，尽可能高效地利用带宽，尽可能多地抓取有价值的资源。这就产生了另一个问题，消耗了被逮捕的 网站 的带宽并造成访问压力。如果太大，将直接影响被捕网站的正常用户访问行为。因此，需要在爬取过程中控制爬取压力，以达到在不影响网站正常用户访问的情况下尽可能多地抓取有价值资源的目的。

　　通常，最基本的是基于 ip 的压力控制。这是因为如果是基于域名的话，可能会出现一个域名对应多个IP（很多大网站）或者多个域名对应同一个IP（小网站共享 IP）。在实践中，往往根据ip和域名的各种情况进行压力分配控制。同时，站长平台也推出了压力反馈工具。站长可以自己手动调节抓取压力网站。这时候百度蜘蛛会根据站长的要求优先控制抓取压力。

　　对同一个站点的爬取速度控制一般分为两类：一类是一段时间内的爬取频率；另一种是一段时间内的爬行流量。同一个站点在不同时间的爬取速度也会不同。例如，在夜深人静、月黑风高的情况下，爬行可能会更快。它还取决于特定的站点类型。主要思想是错开正常的用户访问高峰并不断进行调整。不同的站点也需要不同的爬取率。

　　三、判断新链接的重要性

　　在建库链接之前，百度蜘蛛会对页面进行初步的内容分析和链接分析，通过内容分析判断页面是否需要建索引库，通过链接分析发现更多页面，然后爬取更多页面——分析——是否建立图书馆并发现新链接的过程。理论上，百度蜘蛛会把新页面上所有“看到”的链接都爬回来，那么面对众多的新链接，百度蜘蛛如何判断哪个更重要呢？两个方面：

　　一、对用户的价值

　　1、独特的内容，百度搜索引擎喜欢独特的内容

　　2、主体突出，不要出现网页主体内容不突出被搜索引擎误判为空短页而未被抓取

　　3、内容丰富

　　4、适当做广告

　　二、链接的重要性

　　1、目录层次结构 - 浅层优先

　　2、链接在网站上的受欢迎程度

　　四、百度优先建设重要库的原则

　　百度蜘蛛抓取的页数并不是最重要的，重要的是建了多少页到索引库中，也就是我们常说的“建库”。众所周知，搜索引擎的索引库是分层的。高质量的网页将分配到重要的索引库，普通网页将留在普通库，较差的网页将分配到低级库作为补充资料。目前60%的检索需求只需要调用重要的索引库就可以满足，这就解释了为什么有些网站的收录的超高流量并不理想。

　　那么，哪些页面可以进入优质索引库呢？其实，总的原则是一个：对用户有价值。包括但不仅限于：

　　1、时间敏感且有价值的页面

　　在这里，及时性和价值并列，两者缺一不可。有些网站为了生成时间敏感的内容页面做了很多采集的工作，导致一堆毫无价值的页面，百度不想看到。

　　2、具有高质量内容的特殊页面

　　话题页的内容不一定是完整的原创，也就是可以很好的融合各方的内容，或者加入一些新鲜的内容，比如观点、评论，给用户一个更丰富更全面的内容.

　　3、高价值原创内容页面

　　百度将原创定义为花费一定成本，积累大量经验后形成的文章。永远不要再问我们是否 伪原创 是原创。

　　4、重要的个人页面

　　这里只是一个例子，科比在新浪微博上开了一个账号，即使他不经常更新，对于百度来说仍然是一个极其重要的页面。

　　五、哪些网页不能被索引

　　上面提到的优质网页都进入了索引库，所以其实网上的大部分网站都没有被百度收录列出来。不是百度没找到，而是建库前的筛选过程中被过滤掉了。那么在第一个链接中过滤掉了什么样的网页：

　　1、内容重复的页面

　　2、百度不需要收录与互联网上已有的内容。

　　3、主体内容空而短的网页

　　部分内容使用了百度蜘蛛无法解析的技术，如JS、AJAX等，虽然用户可以访问丰富的内容，但还是会被搜索引擎抛弃

　　加载太慢的网页也可能被视为空的短页。请注意，广告加载时间计入网页的总加载时间。

　　很多主体不太显眼的网页，即使被爬回来，也会在这个链接中被丢弃。

　　4、一些作弊页面

　　更多关于aiduspider爬取系统的原理和索引搭建，请到百度站长论坛查看文档。