百度网页关键字抓取(百度对网站访问频率不支持Crawl-delay配置，新上线)

　　百度网页关键字抓取(百度对网站访问频率不支持Crawl-delay配置，新上线)

　　百度不支持网站访问频率的Crawl-delay配置。如果要为百度蜘蛛配置网站访问频率，建议使用百度站长平台的爬取压力反馈工具，先查询网站百度以往每日爬取量趋势图月可以调整百度蜘蛛每天访问你的网站的抓取压力上限，供百度参考，避免百度蜘蛛的网站抓取压力过大。导致网站服务器负载和爬行异常。

　　百度站长平台抓取压力反馈工具已经上线，新上线的工具对所有网站开放。网站管理员可登录百度站长平台：直接使用，查询网站近一个月在百度每日爬取量趋势图，调整百度蜘蛛每天访问您网站压力上限，避免百度蜘蛛对网站爬取压力过大，导致网站服务器负载和爬取异常。

　　什么是网站抓取压力？

　　网站爬取压力是指搜索引擎在单位时间内访问网站服务器的频率和总次数。

　　什么是爬虫压力反馈工具：

　　1. 该工具主要用于让站长在网站爬压出现问题时及时向百度报告网站爬压问题，同时也提供给站长用于近一个月的网站抓取量趋势图，站长可以了解网站抓取压力是否异常，是否符合预期。

　　2.为保证您的网站正常抓取，百度会考虑您的调整压力和网站的实际情况，不保证会按照您的反馈。本次反馈为参考值，我们会根据实际情况综合调整，避免因压力调整造成不必要的抓取异常

　　抓斗压力反馈工具使用方法：

　　第一步，注册并登录百度站长平台()

　　第二步提交网站并验证归属。网站归属地的具体验证方法可以参考帮助文档

　　第三步选择左侧的“站点管理”

　　第四步，从认证站点列表中选择需要查询的站点。

　　第五步，选择左侧的“抓取压力反馈”，得到的页面如下

　　5.1 抓取压力调节，可以调节压力值，如下图：

　　5.2 建议选择让百度自动调节网站的压力。如果限制百度最大抓取量网站，可以拖动滑块将压力调整到你想要的值比例，压力值是指百度蜘蛛一天最大抓取网页数。

　　5.3 在您反馈现场压力后，您可以在调整记录中看到您的记录。百度会记录您所做的调整，但百度只会对您最近的调整生效。

　　尖端：

　　1：建议使用百度默认的爬取压力值。我们建议您仅在网站 抓取压力出现问题时才向百度报告。

　　Feed压力设置，比如网站爬取压力是正常的，但是网站管理员经常调整爬取压力，容易造成网站及其服务器爬取异常

　　2：压力值反馈一周内生效。请耐心等待，不要频繁重复申请。

　　3：压力反馈中的当前值为网站百度当前有效抓取压力值。