百度网页关键字抓取(北京SEO小编:百度抓取频次多少才算正常?(图))
优采云 发布时间: 2021-10-13 09:41百度网页关键字抓取(北京SEO小编:百度抓取频次多少才算正常?(图))
百度的爬取频率多少算正常?有SEO优化经验的站长都知道,百度站长平台有一个“爬频”选项,那么爬频的目的是什么?爬取频率越高网站越受百度青睐吗?什么样的抓取频率是正常的?下面,北京SEO小编就为您分析这些问题。
一、什么是百度抓取频率
爬取频率可以通过百度站长工具查询。爬取频率是搜索引擎在单位时间内(天级别)爬取网站服务器的总次数。如果搜索引擎对网站的抓取过于频繁,极有可能造成服务器不稳定。百度蜘蛛(Baiduspider)会根据网站内容更新频率、服务器压力等因素自动调整爬取频率。
二、百度爬取频率算正常
很多站长认为百度抓取的频率越高对网站越好。事实上,这是一种错误的理解。百度抓取的频率与网站的类型和质量有很大关系。比如你经营一个流量站,它的利润来自于网站的流量,那么这样的网站需要的内容很多,百度的抓取频率会很高。但是如果你经营的是企业网站,每天不会产生大量的内容,那么这样的网站百度抓取频率会低一些。
<IMG border=0 alt=百度抓取频次图 src="/web/UploadFiles_1049/201711/2017111716440916.png" width=450 height=199>
从上图我们可以发现,这个网站最近被抓拍了200多次。这是正常的吗?答案肯定是否定的。通过观察,网站的爬取频率前期比较稳定,每天20-30次左右,但6月4日突然上升到200多次,6月5日又恢复正常状态也就是说,只有前期比较稳定的爬行频率才是正常的。
网站 爬取频率高的原因分析:
1、 百度在爬取频率Z高的那天做了更新;
2、百度抓取大量无效页面,可被机器人拦截;
3、网站 结构不合理,导致蜘蛛爬行循环,爬行不畅;
如果抓取频率只是偶尔高,则无需担心。可能是网站更新了很多内容。观察一段时间。一般过几天就会恢复正常(正常的概念跟平时爬行的频率差不多)。如果经常上上下下,可以查看网站日志,看看百度蜘蛛是否抓取了大量无效链接。如果是,请先用robots.txt屏蔽,然后到百度站长平台更新robots文件。
网站 抓取频率低的原因分析:
1、长期不更新网站,内容更新不规则,质量残差不均;
2、新站,新站一般都会进入百度沙盒期。这期间网站的爬取频率会很低,继续优化;
3、 爬取设置为上线,如果设置请改成自动爬取;
4、 如果链接提交不好,记得及时将新生成的链接提交给百度;
在保证网站内容质量的前提下,请尽量不要自行设置爬取频率。百度会根据服务器压力、内容质量等自动调整抓取频率,这样对SEO更友好。