网页qq抓取什么原理( 解读一下的段落解读（二）解读解读)

　　网页qq抓取什么原理(

解读一下的段落解读（二）解读解读)

　　今天又看了一遍，发现还是有很多值得深思的地方。下面我将摘录我比较感兴趣的段落，粗略解读一下。

　　一、抢文章

　　蜘蛛爬取系统包括链接存储系统、链接选择系统、dns分析服务系统、爬取调度系统、网页分析系统、链接提取系统、链接分析系统、网页存储系统。

　　解读：蜘蛛从链接库中选择链接，抓取链接对应的页面，将网页保存到网页库中，同时提取抓取到的页面中的链接，将这些链接与链接库进行比对，合并重复链接，并建立新链接存储在库中。在抓取页面的时候，已经对页面进行了简单的分析，过滤掉了垃圾页面。这是一个循环过程。

　　百度蜘蛛根据上面网站设置的协议抓取站点页面，但不可能对所有站点一视同仁。它会综合考虑网站的实际情况，确定一个抓取额度，每天对网站内容进行定量抓取，也就是我们常说的抓取频率。那么百度搜索引擎用什么指标来判断一个网站的抓取频率呢？

　　主要有四个指标：

　　1、网站 更新频率：更新快，更新慢，直接影响百度蜘蛛的访问频率；

　　2、网站更新质量：更新频率增加，刚刚引起了百度蜘蛛的关注。百度蜘蛛对质量有严格的要求。如果网站每天更新的大量内容被百度蜘蛛判断为低质量页面仍然没有意义；

　　3、连通性：网站应该是安全稳定的，对百度蜘蛛保持开放。经常养百度蜘蛛可不是什么好事；

　　4、网站评价：百度搜索引擎对每个网站都会有一个评价，这个评价会根据网站情况不断变化，是百度搜索引擎对网站的基本评分（不是百度权重）到外界），是百度内部非常机密的数据。网站评分从不单独使用，会与其他因素和阈值共同影响网站的爬取和排名。

　　解读：如果你的网站新更新的文章百度收录慢或不收录，你可以从以上四点找到原因，其中影响最大的就是updateFrequency，也就是我们常说的，就是学习养蜘蛛。更新频率不仅仅指更新量，还要注意每天更新的次数不要太宽。另外，网站的访问稳定性也要注意，打开速度太慢或无法打开都会影响收录的问题。

　　百度蜘蛛抓取的页面数量并不是最重要的。重要的是一个索引库建了多少页，也就是我们常说的“建库”。众所周知，搜索引擎的索引库是分层的。优质的网页会被分配到重要的索引库，普通的网页会留在普通的图书馆，更糟糕的网页会被分配到低级别的图书馆作为补充资料。目前60%的检索需求只调用重要的索引库就可以满足，这就解释了为什么有些网站的收录量超高，但流量并不理想。

　　解读：我认为这三个层次的索引库也是可以相互转化的。例如，普通图书馆的页面将被提升为优质图书馆。对于很多新站点或者信任度低的站点，直接发布新发布的页面是很困难的。进入优质库，但后来如果被搜索用户查到并导入大量外部链接，可能会转化为优质库。

　　哪些网页可以进入优质索引库？其实总的原则是一个：对用户有价值！

　　包括但不仅限于：

　　1、及时性和有价值的页面：在这里，及时性和价值是平行关系，两者缺一不可。有的网站为了生成时间敏感的内容页面，做了很多采集的工作，结果产生了一堆百度不想看到的毫无价值的页面；

　　2、 内容优质的专题页：专题页的内容不一定是原创，即可以很好的整合各方内容，或者加入一些新鲜的内容，比如观点和评论，为用户提供更丰富、更全面的内容；

　　3、高价值原创内容页：百度将原创定义为文章经过一定的成本和大量的经验形成。不要问我们伪原创是不是原创；

　　4、重要的个人页面：这里只是一个例子。科比在新浪微博上开设了一个账号，他很少需要更新，但对于百度来说，它仍然是一个极其重要的页面。

　　解读：请注意时效性、价值性、整合性、成本性、独立性，尤其是里面的成本。复制和粘贴不收取任何费用，所有权方也不收取任何费用。所以，即使你不原创，你也应该让人觉得你的文章是用大量的时间和金钱制作的。上面百度说的四点不包括权威，但是权威也是一个很关键的因素。同一个文章，大门户文案和小站长文案，层次不一样。

　　哪些页面不能建索引库

　　上述优质网页均收录在索引库中。其实网上的大部分网站根本就不是百度的收录。不是百度没找到，而是建库前的筛选链接被过滤掉了。那么一开始被过滤掉了什么样的网页：

　　1、 重复内容的网页：百度无需收录 任何已经在互联网上的内容。

　　2、 主要内容简短且空洞的网页。

　　① 部分内容使用了百度蜘蛛无法解析的技术，如JS、AJAX等，用户访问时虽然可以看到丰富的内容，但仍会被搜索引擎抛弃；

　　② 加载过慢的网页也可能被视为空的短页。请注意，广告加载时间计为网页的整体加载时间；

　　③ 很多主体不突出的网页，即使被抓取回来，也会在本链接中被丢弃。

　　3、一些作弊页面。

　　解读：了解搜索引擎的工作原理对于从事SEO非常重要。有时候，我们不需要刻意研究如何获得好的排名，只要站在搜索引擎的角度，了解其基本工作原理即可。如果爬虫分拣系统让你发展，你会怎么做？换位思考后，不要再考虑站长的利益，而是多想想搜索用户喜欢什么，想要什么。