百度蜘蛛是什么样的抓取频次过大怎么办
优采云 发布时间: 2021-06-18 06:05百度蜘蛛是什么样的抓取频次过大怎么办
抓取频率是百度搜索引擎下的百度蜘蛛程序。用于每天抓取网站的优质页面和内容、图片等,让用户在搜索引擎中快速找到你网站的内容,那么百度蜘蛛是如何抓取的,以及什么频率爬行,我们接下来了解一下。
什么是抓取频率
爬取频率是搜索引擎在单位时间内(天级别)爬取网站服务器的总次数。如果搜索引擎抓取网站过于频繁,可能会造成服务器不稳定,百度蜘蛛会根据网站内容更新频率、服务器压力等因素自动调整抓取频率。
什么情况下可以抓取频次上限调整?
首先,百度蜘蛛会根据网站server压力自动调整爬取频率。其次,如果Baiduspider的爬行影响了网站的稳定性,站长可以使用这个工具来调整Baiduspider每天爬取你的网站的频率限制。
重点1:调整爬取频率上限并不意味着增加爬取频率。重点2:建议您仔细调整爬取频率的上限。抓取频率太小,会影响百度蜘蛛的网站的收录。
当前抓取频率过高怎么办?
您可以按照以下顺序排查频率过高的问题:
1、如果您认为Baiduspider抓取了您认为无价值的链接,请更新网站robots.txt以阻止抓取,然后进入robots工具页面生效。
2、如果百度蜘蛛的抓取影响了您网站的正常访问,请到抓取频次上限调整页面调低抓取频次上限。
3、以上方法均不能解决问题,请到百度站长平台反馈中心反馈。
当前抓取频率太小怎么办?
您可以按照以下方法排查和解决低频问题:
1、如果您设置了抓取频次上限,建议您先取消抓取频次上限设置,或者到抓取频次上限调整页面调整抓取频次上限。
2、如果您还没有设置抓取频次上限,建议使用抓取异常工具检查是否是抓取异常引起的。
3、如果还是觉得抓取量小,可能是你没有提交新链接。请到链接提交页面提交数据。
4、以上方法均不能解决问题,请到百度站长平台反馈中心反馈。