百度爬虫抓取规则及4个吸引爬虫的有效策略【码迷SEO内参】

　　通过百度专利阐述本质

　　百度爬虫多久爬一次，百度爬虫多久更新，百度爬虫爬了以后到底多久收录，带着这种问题，码迷带你一探百度的相关专利。

　　码迷认为《2.7资源平衡性的确定方式、装置、设备以及存储介质》足以揭秘以上好多的问题，也太能使SEOer们回味。

　　百度对网站的抓取策略很大程度上参考了经济学上面的基尼系数算法，来有效平衡爬虫资源分配。

　　百度专利是这样说的：

　　搜索资源是搜索引擎类产品的基石，一条资源(典型的，一个资源站点中更新的一个网页)从形成到诠释给搜索用户要经历资源抓取、入库(也正式资源收录于资源库中)、召回(也即资源的分发)、排序、展现等一系列过程。其中资源的抓取、入库是召回的基础；请求召回的资源数目的多少是对资源抓取、入库质量优良的有效指标，也是影响用户体验的主要诱因。在现有技术中，没有对资源库中资源的收录与分发的平衡性进行评判的技巧。

　　本发明施行例提供了一种资源平衡性的确定方式、装置、设备以及储存介质，通过应用评判经济分配的公正程度的目标经济学参数的估算方式，使用设定时间区间内资源库针对各个资源站点的资源收录量以及资源分发量，计算用于评判所述资源库的资源收录及分发的平衡性的资源平衡性参数的技术手段，创造性的给出了一种有效评判资源库中资源的收录与分发平衡性的新方式，使得用户可以依照估算得到的资源平衡性参数百度爬虫，量化的感知出资源库中资源的收录与分发是否平衡，并因而可以依据该资源平衡性参数的估算结果，适应性的调整针对所述资源库的资源抓取策略。

　　码迷大白话：有排行的网页数目占总网站的百分比才是决定爬虫抓取频度的重要指标。

　　百度专利还说：

　　[0086]

　　例如，可以设定一个平衡阀值条件为：0.4-0.6，如果估算得到的资源平衡性参数满足该平衡阀值条件，则可以确定当前的资源抓取策略比较合理，资源的收录及分发过程比较平衡；如果估算得到的资源平衡性参数不满足该平衡阀值条件，则可以确定当前的资源抓取策略不太合理，进而可以获取资源收录量与资源分发量之间的差值超过设定门限(例如，资源收录量-资源分发量小于1000，或者资源分发量-资源收录量小于1000等)的异常资源站点。

　　[0087]相应的，根据所述异常资源站点的资源收录量与资源分发量之间的差别类型(资源收录量小于资源分发量，或者资源分发量小于资源收录量)，对所述异常资源站点的资源抓取策略进行适应性调整(例如：增大或则减少对所述异常资源站点的抓取频度，和/或抓取深度等)。

　　码迷大白话：垃圾内容越发越没爬虫来

　　《CN2.8一种网站数据抓取装置及技巧》

　　本发明提供了一种网站数据抓取装置及方式，以更合理而且快速的调度抓取网站数据百度爬虫，使得在有限的资源下尽可能地让搜索引擎所抓取的网站数据才能保持较高的更新水平。

　　[0005] 具体方案如下 ：提供一种网站数据抓取方式，包括 ：a. 获取多条爬虫日志，以产生日志文件，其中所述每一爬虫日志包括互相关联的站点名称、IP 地址、网站数据以及抓取时间 ；b. 以所述站点名称为基准将所述日志文件合并到合并日志文件中，在所述合并日志文件中，每一所述站点名称下关联有一个或多个在所述爬虫日志中与所述站点名称相关联的IP 地址，每一所述站点名称下进一步关联有在所述爬虫日志中与所述站点名称相关联的抓取时间和网站数据 ；c. 以所述 IP 地址为基准对所述合并日志文件进行倒排处理，以获取倒排日志文件，在所述倒排日志文件中，每一所述 IP 地址下关联有一个或多个在所述合并日志文件中与所述 IP 地址相关联的站点名称，每一所述站点名称进一步关联有在所述合并日志文件中与所述站点名称相关联的抓取时间和网站数据 ；d. 对所述倒排日志文件中每一所述 IP 地址下的站点名称进行应用策略估算，以获取多个以优先级别排列的待抓取站点名称以及对应的待抓取 IP 地址，形成待抓取列表。

　　码迷大白话：同IP网站优先抓取权重高的网站，抓取次数根据服务器性能计算来抓。假如一台服务器单日最多能1000个IP，里面有8个站，其中权重最高的站每晚更新1万内容，那其他站连爬虫驾临机会都没有。

　　百度专利上面说了，网页被搜到被点击的概率，网站整个网页数目、IP资源分配都可以影响爬虫驾临频度，通过以上百度剖析，码迷总结了一个爬虫频度公式如下，暂且叫码迷爬虫频度公式吧

　　百度爬虫频度 = 链接发觉概率 * 有效排行页面占比 * 有效收录页面数目 - 同IP其他网站数*其他网站权重

　　很明显我们要吸引百度爬虫蜘蛛，可以通过以下手段

　　如果网站外链越多，爬虫发觉的概率也越大。所以很多人问：蜘蛛池有用吗？

　　码迷并没有找到外链与爬虫之间的关系，但是通过往年的经验来看，一个网站的有效外链越多，越容易获得百度蜘蛛发觉，蜘蛛池只是增强网页被蜘蛛的爬取概率，但是码迷这儿还没有证据证明，蜘蛛池才能提升有效收录率。

　　蜘蛛池是有效的，但是蜘蛛池本质上是一个站群系统，如果蜘蛛池上面内容都是灰色地带的内容，做合法行业的网站建议尽量保持距离。

　　新站怎么吸引爬虫？我的网站上线很久了，发了很多内容，为什么没有收录？

　　持续的优质内容输出，一方面降低百度有效收录率，另一方面降低搜索曝光率才是最重要的吸引蜘蛛的途径。

　　如果你花费了百度的爬虫资源即使了，百度虽然收录了你的网页，但是却没有人来搜或则没有前三页的排行。百度假如认为你的网站辣么多内容木有人用，这跟狼来了的故事是一个道理。

　　这个不展开说明了

　　做个别行业的老师还会搭配蜘蛛池来降低链接发觉的机率，利用泛目录程序生成海量的内容页面，增加有效收录页面数目。这个时侯要如何使百度感觉你形成的网页有人搜，有人看，才能提升有效排行页面占比，那么你刷快排了吗？

　　百度爬虫多久爬一次？

　　这个取决于你的网站页面数、网站质量，一般单页站点在每晚1次左右。你从百度获取的流量越多，爬虫也爬的越勤劳。

　　百度爬虫多久收录？

　　首先，新站爬取后，并不会立刻收录，如果内容质量好，并持续降低内容，预计1个月左右。

　　其次，优质老站当天就有收录，也就是秒收。

　　最后，垃圾站取决于你的心态，垃圾内容越多，越不收录。

　　百度爬虫多久更新？

　　分两种情况，

　　第1种，网站内容被爬虫访问后，如果内容质量垃圾，收录蜘蛛访问后1-3天内，如果没有快照蜘蛛访问，多久都不会有更新。

　　第2种，网站内容质量好，快照蜘蛛访问后通常1-3天内快照必然更新，否则是你的站没有过考察期，要等1-3个月不等。

　　文末福利

　　今天就那些，下一节我们将拿一个案例来剖析。微信公众号优质评论前10名将会获得码迷整理的66个百度专利，先到先得。