搜索引擎优化自学( 搜索引擎蜘蛛访问您的网站需要注意哪些问题？（下）)

　　搜索引擎优化自学(

搜索引擎蜘蛛访问您的网站需要注意哪些问题？（下）)

　　有些网页内容质量高，用户可以正常访问，但搜索引擎蜘蛛却无法正常访问和抓取，导致搜索结果覆盖不足，对搜索引擎和网站都是一种损失。百度称这种情况为“爬行”。对于大量内容无法正常抓取的网站，百度搜索引擎会认为网站存在用户体验缺陷，降低对网站的评价，在爬取、索引和排序方面都会受到一定程度的负面影响，最终会影响到网站从百度获得的流量。

　　服务器连接异常

　　服务器连接异常有两种情况：一种是网站不稳定，搜索引擎蜘蛛在尝试连接你的网站服务器时暂时无法连接；另一种是搜索引擎蜘蛛一直无法连接到你的网站 服务器。

　　服务器连接异常的原因通常是你的网站服务器太大，过载。您的 网站 也可能运行不正常。请检查网站的web服务器（如apache、iis）是否安装并运行正常，并使用浏览器检查主页是否可以正常访问。您的 网站 和主机也可能阻止搜索引擎蜘蛛的访问，您需要检查您的 网站 和主机的防火墙。

　　网络运营商例外

　　网络运营商有两种：中国电信和中国联通。搜索引擎蜘蛛无法通过中国电信或中国网通访问您的网站。如果出现这种情况，需要联系网络服务运营商，或者购买双线服务空间或者购买cdn服务。

　　DNS 异常

　　当搜索引擎蜘蛛无法解析您的 网站 IP 时，会出现 DNS 异常。可能你的网站IP地址有误，或者你的域名服务商屏蔽了搜索引擎蜘蛛。请使用 WHOIS 或主机检查您的 网站IP 地址是否正确且可解析。如果不正确或无法解决，请联系域名注册商更新您的 IP 地址。

　　知识产权禁令

　　IP封禁是：限制网络的出口IP地址，禁止该IP段内的用户访问内容，这里专门封禁搜索引擎蜘蛛IP。仅当您的 网站 不希望搜索引擎蜘蛛访问时才需要此设置。如果您希望搜索引擎蜘蛛访问您的网站，请在相关设置中检查搜索引擎蜘蛛IP是否被错误添加。也有可能是你网站所在的空间服务商封杀了百度IP。在这种情况下，您需要联系服务提供商更改设置。

　　UA禁令

　　UA即User-Agent，服务器通过UA识别访问者。当网站返回异常页面（如403、500）或跳转到其他页面进行指定UA的访问时，属于UA禁令。当你的网站不想search 这个设置只有在引擎蜘蛛访问时才需要，如果你想让搜索引擎蜘蛛访问你的网站，请检查useragent相关设置中是否有搜索引擎蜘蛛UA，并及时修改.

　　死链

　　不再有效且无法为用户提供任何有价值信息的页面为死链接，包括协议死链接和内容死链接两种形式。

　　协议死链

　　页面的TCP协议状态/HTTP协议状态明确表示的死链接，如404、403、503状态等。

　　内容死链接：服务器返回正常状态，但内容已更改为不存在、已删除或需要权限等与原创内容无关的信息页面。

　　对于死链接，我们建议网站使用协议死链接，通过百度站长平台——死链接工具提交给百度，这样百度可以更快的找到死链接，减少死链接对用户和搜索引擎的负面影响。

　　异常跳转

　　将网络请求重定向到另一个位置是一个跳转。异常跳转指以下几种情况：

　　1）目前该页面为无效页面（删除内容、死链接等），直接跳转到上一个目录或首页，百度建议站长删除无效页面的入口超链接

　　2）跳转到错误或无效页面

　　注意：长期重定向到其他域名，如网站改域名，百度推荐使用301重定向协议进行设置。

　　其他例外：

　　1）百度referrer异常：网页返回的行为与来自百度的referrer的正常内容不同。

　　2）百度UA异常：网页返回百度UA的行为与页面原创内容不同。

　　3）JS跳转异常：网页加载了百度无法识别的JS跳转代码，导致用户通过搜索结果进入页面后跳转。

　　4）压力过大导致的意外封禁：百度会根据网站规模、流量等信息自动设置合理的抓取压力。但在异常情况下，如压力控制异常时，服务器会根据自身负载进行保护性的偶尔封禁。在这种情况下，请在返回码中返回 503（表示“服务不可用”），这样搜索引擎蜘蛛会在一段时间后再次尝试抓取该链接，如果 网站 空闲则成功抓住。