GoogleSearch故障意味着Googlebot无法检索()故障Googlebot

　　GoogleSearch故障意味着Googlebot无法检索()故障Googlebot

　　解决这些问题超出了本文的范围，但您应该参考 Google Search Console 来帮助诊断特定错误。

　　C) 机器人故障

　　机器人故障意味着 Googlebot 无法检索位于 [] /robots.txt 的 robots.txt 文件。

　　它们是什么意思

　　关于 robots.txt 文件最令人惊讶的事情之一是，您只需要在您不希望 Google 抓取某些页面时才需要这样做。

　　在 Search Console 的帮助下，Google 声明：

　　“仅当您的网站 收录您不希望搜索引擎索引的内容时，才需要 robots.txt 文件。如果您希望搜索引擎为您的 网站 中的所有内容编制索引，则不需要机器人.txt文件——你甚至不需要一个空文件。如果你没有robots.txt文件，当Googlebot请求它时，你的服务器会返回404，我们会继续抓取你的网站。没问题.”

　　它们重要吗？

　　这是一个非常重要的问题。对于更小、更静态的网站，没有太多最近的变化或新页面，并不是特别紧迫。但是问题还是要解决的。

　　但是，如果您的网站每天发布或更改新内容，这是一个紧迫的问题。如果 Googlebot 无法加载您的 robots.txt，它就不会抓取您的 网站，也不会将您的新页面和更改编入索引。

　　如何解决

　　确保 robots.txt 文件配置正确。仔细检查您指示 Googlebot 不抓取的页面，因为默认情况下会抓取所有其他页面。三重检查全能的“禁止：/”行并确保它不存在，除非出于某种原因您不希望您的 网站 出现在 Google 搜索结果中。

　　如果您的文件看起来正常但仍然收到错误，请使用服务器标头检查工具查看您的文件是否返回 200 或 404 错误。

　　这个问题的有趣之处在于，最好不要使用robots.txt，而不要使用错误配置的robots.txt。如果你根本没有，谷歌会像往常一样抓取你的网站。如果您有返回错误，Google 将停止抓取，直到您修复该文件。

　　由于只有几行文本，robots.txt 文件可能会给您的网站 带来灾难性的后果。请务必提前并经常检查。

　　2.网址错误

　　URL 错误与网站 错误不同，因为它们只会影响您网站 上的特定页面，而不是整个网站。

　　B) 服务器错误是什么意思

　　服务器错误通常意味着您的服务器响应时间过长并且请求超时。试图抓取您的 网站 的 Googlebot 只能等待一段时间才会放弃加载您的 网站。如果时间过长，Googlebot 将停止尝试。

　　服务器错误与 DNS 错误不同。 DNS 错误意味着 Googlebot 由于 DNS 问题甚至无法找到您的网址，而服务器错误意味着虽然 Googlebot 可以连接到您的 网站，但由于服务器错误而无法加载页面。

　　如果你的网站因为服务器处理太多流量而过载，可能会出现服务器错误。为避免这种情况，请确保您的托管服务提供商可以扩展以适应突然的 网站 流量爆发。每个人都希望他们的网站 可以传播病毒，但并不是每个人都准备好了！

　　它们重要吗？

　　与 DNS 错误一样，服务器错误非常紧急。这是一个基本错误，会损坏整个网站。如果您在网站的 Search Console 中发现服务器错误，则应立即采取措施。

　　确保 Googlebot 可以连接到 DNS 是重要的第一步，但如果您的 网站 实际上没有出现，您将无法获得更多信息。如果您遇到服务器错误，Googlebot 将无法找到任何可抓取的内容，并会在一段时间后放弃。

　　如何解决

　　如果你的网站在你遇到这个错误的时候运行正常，那可能意味着之前有服务器错误。虽然这个错误现在可能已经解决了，但你仍然应该做一些改变以防止这个错误再次发生。

　　这是 Google 修复服务器错误的官方指南：

　　“使用谷歌抓取方式检查Googlebot当前是否可以抓取你的网站。如果谷歌抓取谷歌可以正常返回首页内容，你可以假设谷歌平时可以正常访问你的网站。”

　　在修复服务器错误问题之前，您需要具体诊断您遇到的是哪种类型的服务器错误，因为有很多种类型：

　　时间到了 截断的标头 连接重置 截断的响应 连接被拒绝 连接失败 连接超时 无响应

　　其他工具

　　ISUP.me-让您立即知道您的网站适用于所有人，还是仅适用于您的网站。 - 显示当前的 HTTP(s) 请求和响应头。对上述第 3 点很有用。