搜索引擎如何抓取网页(本篇文章站长博客介绍在大型搜索引擎Spider的抓取过程)

　　搜索引擎如何抓取网页(本篇文章站长博客介绍在大型搜索引擎Spider的抓取过程)

　　这篇文章站长博客介绍Spider的爬取策略？搜索引擎如何抓取网页？

　　在大型搜索引擎Spider的爬取过程中，有很多策略，有时可能会使用多种策略的组合。这里简单介绍一个比较简单的爬虫抓取策略，帮助大家了解爬虫的工作流程。蜘蛛抓取网页。在尝试爬取尽可能多的网页的前提下，首先要注意的是避免重复爬取。为此，爬虫程序一般会建立已爬取的URL列表和待爬取的URL列表（实际上是通过Hash表来记录URL的两种状态）。爬取新页面时，提取页面上的链接，将提取的链接与爬取的URL列表中的链接一一进行对比。如果发现链接已经被爬取过，则直接丢弃。

　　(l) 已经爬取的页面，即Spider已经爬取的页面。

　　(2)要爬取的页面，即这些页面的url已经被加入到Spider要爬取的url队列中，但是还没有被爬取。

　　（3)页面可以爬取了，Spider根据网上的链接关系终于可以找到这些页面了，也就是说这些页面的存在可能暂时不知道，但是随着增量爬取蜘蛛，最终会发现这些页面的存在。

　　(4)暗网中的页面，这些页面与地表中的网页解耦，这些页面中可能存在上述三类网页的链接，但是通过以上三类网页，例如网站中需要手动提交获取查询的网页属于暗网中的网页，估计暗网要大几个数量级比非暗网。

　　全文搜索引擎的蜘蛛一直致力于爬取全网数据，现在蜘蛛拥有大量针对非暗网页面的高效爬取策略。对于暗网的爬取，各个搜索引擎都在努力研究各自不同的蜘蛛爬取策略。百度推出“阿拉丁”计划，鼓励网站拥有优质资源，直接使用站内资源以XML文件的形式提交给百度，百度将直接抓取并展示优先级排行。这里主要讨论Spider对非黑暗网页的爬取策略。

　　当 Spider 从一个入口页面开始爬取时，它会获取该页面上所有的外链。当 Spider 随机抓取其中一个链接时，它也会采集到很多新的链接。此时，Spider面临着爬取方式的选择： () 先按照一个链接逐层爬取，直到该链接被抓到最后，然后再按照同样的规则返回去爬取其他链接，即深度优先抓取策略。

　　或者先爬入入口页面中的链接，把新发现的url按顺序排列，然后遍历爬取这些新发现的页面，再把新发现的RL排列进仓库等待爬取，依次将其抓取下来，这是广度优先的爬取策略。

　　深度优先策略

　　深度优先策略是一条路走黑路，当一条路走不通时，再回去走另一条路。图2-3为深度优先爬取策略*敏*感*词*。假设页面A是Spider的入口，Spider在页面A上找到了三个1、7、11页面的链接，然后Spider就会按照图中数字表示的顺序抓取。当第一条路径抓取3页结束时，会返回2页抓取第二条路径中的4页，如果也抓取了4页，则返回1页抓取第三条路径。5页，一直抓着。抓到人头后，它会按照之前的规则，一个一个的去抓。

　　广度优先策略

　　广度优先策略是指当Spider在一个页面上发现多个链接时，并没有一路走到暗处，而是沿着一条链走

　　然后继续爬取，但是先爬取这些页面，再爬取从这些页面中提取的链接。图 2-4

　　图为广度优先爬取策略*敏*感*词*。假设页面A是Spider的入口，Spider在页面A上找到了三个页面l和2、3，爬取了1个页面后，只是将1个页面中的4和5个页面的链接放入到URL列表中被抓取，不会继续抓取1页的其他链接，而是2页。当b级页面爬取完成后，从b级页面提取到c级页面的4、5、6、7、8、将被抓取 9. 六页。爬取c级页面后，爬取从c级页面中提取的新D级页面，依次继续爬取。

　　理论上，无论Spider采用深度优先策略还是广度优先策略，只要有足够的时间，它都可以爬取互联网上的整个网页。但是，搜索引擎本身的资源也是有限的。快速爬取互联网上有价值的页面只是一种奢望。因此，搜索引擎的蜘蛛并不仅仅使用一种策略无限抓取新页面，而是采用两种策略。联合捕获的方法。一般来说，Spider 可以在域级别的页面上使用广度优先的爬取策略来采集尽可能多的网站。在网站的内页级别，一般根据网站的权重采用广度和深度优先的爬取策略。也就是说网站的权重越高，爬取的量就越大。新推出的网站可能只在一个主页上被抓到。这也可能是很多新的网站在一段时间内只被搜索引擎首页收录的原因之一。

　　上面讨论的这两种策略是需要根据Spider只是想捕获整个互联网数据来选择的策略。事实上，在搜索引擎中，Spider虽然在尽力保证爬取页面的全面性，但由于资源有限，在尽力爬取全网的同时，也必须考虑重要页面的优先爬取。这个“重要页面”的定义应该是指互联网上比较重要的页面，该页面的内容应该具有影响力比较大、需要了解内容的网民较多、或者传播时效性比较强的特点。体现在爬取策略上，就是这个页面有很多入链，或者是具有高权限的大型网站中的网页。总结起来有两种策略：重要网页的优先爬取策略和大型站点链接的优先爬取策略。

　　(1)重要页面优先爬取策略

　　一般认为，一个页面的重要性，除了受主站本身质量和权重的影响外，还取决于传入链接的数量和传入链接的质量。蜘蛛爬取级别的“重要页面”一般由传入链接决定。在上面讨论的爬取策略中，Spider一般将新发现的未被爬取的URL依次放在待爬取URL队列的末尾，等待Spider依次爬取。在重要页面优先爬取的策略中并非如此。被爬取的 URL 队列的顺序是不断变化的。排序一般根据：页面获得的爬取页面的链接数和链接权重的高低。

　　(2)大网站优先策略

　　大站优先策略，这个思路很简单。被搜索引擎认可为“大站点”的网站一般具有稳定的服务器、良好的网站结构、优秀的用户体验、及时的信息内容、权威的相关信息、丰富的内容类型和庞大的数量的网页等特性，当然也会相应地产生大量优质的反向链接。也就是说，在一定程度上可以确定，这些网站的内容能够满足相当一部分网友的搜索请求。为了在有限的资源范围内尽量满足大部分普通用户的搜索需求，搜索引擎一般都会对大站“特别照顾”。所以，可以看到几乎所有新浪和网易上的自发内容网站都会被百度秒级接收，因为百度搜索的蜘蛛应该在这些网站上连续爬取7×2小时. 如果这些网站 重要页面上出现了指向新站点的链接，它也会被快速抓取并相应地收录。有朋友曾经尝试过秒接收新站点的策略：将新站点的链接推送到一些大站点的首页，或者挂在各大站点首页推荐的页面上，效果还是很不错的。它也将被快速抓取并相应地 收录 。有朋友曾经尝试过秒收新站的策略：把新站的链接推送到一些大站首页，或者挂在各大站首页推荐的页面上，效果还是很不错的。它也将被快速抓取并相应地 收录 。有朋友曾经尝试过秒收新站的策略：把新站的链接推送到一些大站首页，或者挂在各大站首页推荐的页面上，效果还是很不错的。

　　这两种策略与前面讨论的广度优先策略和深度优先策略的组合有一些共同点。比如从另一个角度来说，如果Spider按照前两种策略进行爬取，一个页面获取的入链越多，提前被抓到的概率就越高，也就是类似于重要页面的优先爬取; 在蜘蛛资源有限的情况下，广度优先策略和深度优先策略的组合会根据站点的大小区别对待。大型 网站 页*敏*感*词*有内在的高度重要性，并且通常很容易获得更多的链接支持。因此，从宏观上看，这些策略在抓取性能上有相似之处，在实际抓取过程中又相辅相成。

　　与整个互联网的网页相比，Spider的资源即使充足也是有限的。因此，一个优秀的Spider程序应该首先保证重要网页的爬取，然后在互联网网页上尝试尽可能多的爬取信息。从中也可以看出，依靠外链引导Spider，提升网站权重，以及长期依靠内容操作网站权重的重要性。