百度spider对常用http返回码的义的定义来设置

优采云 发布时间: 2021-05-29 04:06

  百度spider对常用http返回码的义的定义来设置

  我的朋友在做网站的时候,应该按照网站搜索引擎优化的规则做一些基本的优化,比如FTTP返回码的设置。搜索引擎在抓取和处理时,会根据http协议规范进行相关的访问处理,所以这里建议我们也尽量参考http协议中返回码的定义进行设置。

  

  以下是百度蜘蛛对常用http返回码的处理说明。希望我们在做网站的时候能正确设置。

  1、404 返回码

  404 返回码的含义是“NOT FOUND”。百度搜索引擎会认为该网页无效,因此通常会从搜索结果中删除,蜘蛛会在短期内再次找到该网址而不会抓取。

  2、503 返回码

  503返回码的意思是“Service Unavailable”,百度搜索引擎会认为这个网页暂时无法访问,通常是网站暂时失败、带宽受限等都会造成这种情况。对于返回503的网页,百度蜘蛛不会直接删除这个url,过一段时间会再次访问这个页面。如果网页恢复正常,则可以正常抓取;如果继续返回503,那么短时间内会被多次访问。但是,如果网页长时间返回503,则百度搜索引擎将其视为无效链接,并将从搜索结果中删除。

  3、 403返回代码

  403返回码的意思是“禁止访问”,百度会认为该网页当前被禁止访问。在这种情况下,如果是新发现的网址,百度蜘蛛暂时不会抓取,短期内会再次检查;如果是百度已经找到的收录 URL,目前不会删除,短期内会再次访问。那个时候,如果网页被允许访问,就会正常抓取;如果仍然不允许,将在短时间内访问多次。但是如果网页长时间返回403,百度也会认为是断链,也会被删除。

  4、 301

  301返回码的意思是“Moved Permanently”,百度会认为网页当前重定向到了新的url。在网站迁移、域名变更或网站改版的情况下,建议使用301返回码,以尽量减少改版带来的流量损失。虽然百度蜘蛛现在对 301 跳转的响应周期更长,但我们仍然建议您这样做。

  

  我们在做上面的网站时,需要适当准确的设置对应的返回码。

  本文由()原创编辑转载,请注明

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线