搜索引擎如何抓取网页(企客信先让你了解搜索引擎抓取机制解决网站收录问题收录 )

　　搜索引擎如何抓取网页(企客信先让你了解搜索引擎抓取机制解决网站收录问题收录

)

　　奇客信先让你了解搜索引擎抓取机制解决网站收录问题

　　收录 表示网页被搜索引擎抓取，然后放入搜索引擎的库中。人们在搜索相关词时，可以看到已经被收录的页面和页面信息。我们所说的“网页是收录”是指您可以在搜索结果页面上看到相关页面。反之，“网页不是收录”的问题就比较复杂，因为你在搜索结果页上没有看到对应的页面，并不代表该页面不在搜索引擎的库中，或者不是收录，有可能是当前搜索词的网页排名不佳，超过760条记录。

　　因此，没有显示收录涉及网页被搜索引擎蜘蛛抓取，然后编译到搜索引擎索引库中，而这一系列过程被用户在前端搜索。对于SEO人员或非专业SE○人员，想要优化自己的网站，需要了解页面是如何被搜索引擎收录搜索到的，了解搜索引擎的原理收录。这是非常有益的。可以帮助你在做网站sEO的时候尽量遵循收录的规则，增加网站成为收录的比例。

　　奇客信提醒您：

　　1、搜索引擎蜘蛛的工作原理

　　收录 第一个链接正在爬行。爬取过程是搜索引擎应用对网站的网页进行爬取。负责搜索引擎抓取网页功能的程序，俗称蜘蛛。蜘蛛是一个形象术语，因为互联网是一个巨大的蜘蛛网，搜索引擎程序通过互联网不断地爬行和探索。每个互联网公司都有自己的爬虫，比如百度蜘蛛、谷歌蜘蛛、搜狗蜘蛛等等。

　　蜘蛛利用网站提交的Sitemap（网络地图）或网上其他地方留下的页面URL信息，爬到网站对应的页面，然后跟踪网站的其他链接@> page 一层一层的往下爬，找到更多的页面。蜘蛛爬取网页是收录页面工作的上游。通过蜘蛛爬取网页，可以找到更多的页面，知道哪些页面更新了，从而实现对网页的爬取和持续更新。

　　蜘蛛抓取系统的工作原理请参考百度蜘蛛抓取的说明。总之，蜘蛛爬取系统包括链接存储系统、链接选择系统、DNs分析服务系统、爬取调度系统、网页分析系统、链接提取系统、链接分析系统、网页存储系统。百度蜘蛛通过本系统的配合完成对网页的抓取。

　　2、应对蜘蛛机的基本策略

　　在蜘蛛实际爬取网页的过程中，由于网页内容（文本、Fash、视频等）的复杂性和技术实现方式的多样性（纯静态、动态加载等），为了更有效地利用蜘蛛资源、搜索引擎公司将不同的爬取策略放在最上面。作为SEO人员，可以参考搜索引擎公司爬取策略的描述，采用最大SEO方法。

　　作为中国最大的搜索引擎公司，百度在其官方文档中描述了其抓取策略如下。互联网资源的数量级很大，这就要求抓取系统尽可能高效地使用带宽，在有限的硬件和带宽资源下抓取尽可能多的有价值的资源。这会导致另一个问题。如果捕获的网站带宽被消耗，访问压力过大，将直接影响捕获的网站的正常用户访问行为。

　　因此，在抓取过程中必须进行一定的抓取压力控制，以达到既不影响网站的正常用户访问，又能抓取尽可能多的有价值资源的目的。通常，使用的最基本方法是基于|P 的压力控制。这是因为如果是基于一个域名，可能会出现一个域名对应多个iP（很多大网站）或者多个域名对应同一个P（小网站共享）的问题ip）。在实际工作中，往往会根据ip和域名的各种情况进行压力控制。同时，站长平台还推出了压力反馈工具，站长可以手动调整自己网站的抓取压力。此时，

　　同一个站点的爬取速度控制一般分为两类：

　　一、一段时间内的爬取频率；

　　二是一段时间内的爬取流量。

　　同一个站点的爬取速度在不同的时间会有所不同。例如，在夜深人静的时候爬行速度可能会更快。它还取决于特定的站点类型。主要思想是错开正常用户访问的高峰期，不断调整。对于不同的站点，也需要不同的爬取速度。

　　上面的描述非常简洁，但是从这个描述中，我们可以得到蜘蛛爬行页面受到压力控制的启发。对于特别大的网站，不可能指望蜘蛛爬到一个网站之后，所有的网站都会被一次性爬满。所以，作为SEO人，网站的网页收录尽量减少蜘蛛的压力是有好处的。一般来说，有两种方法可以减少蜘蛛压力。

　　方法——：采用№follow（反垃圾链接标签）策略，将蜘蛛引导至最有价值的页面。nofollow 标签用于告诉蜘蛛，如果他们遇到对他们更有用的页面。

　　方法二：定义Sitemap中不同页面的权重和更新频率，也就是定义网站的Sitemap文件中每个链接的权重和更新频率，以便蜘蛛爬到这些链接和页面时，它会识别哪些页面更重要，可以重点抓取，哪些页面更新更频繁，需要蜘蛛更多关注。