搜索引擎如何抓取网页(如何才能阻止搜索引擎抓取WordPress站点的内容？(图))

　　搜索引擎如何抓取网页(如何才能阻止搜索引擎抓取WordPress站点的内容？(图))

　　最近，一位用户问我们如何才能阻止搜索引擎抓取他们的 网站？在很多情况下，一些站长真的不希望搜索引擎抓取他们的 网站 或在搜索结果中列出 网站 内容。在本文中，我们将向您展示如何防止搜索引擎抓取您的 WordPress 网站的内容。

　　为什么以及谁想要阻止搜索引擎

　　对于大多数 网站 来说，搜索引擎是最大的流量来源。您可能想知道，为什么有人要阻止搜索引擎？

　　在启动网站时，很多人不知道如何创建本地开发环境或临时站点。如果您在可公开访问的 网站 上进行在线开发，您可能不愿意拥有正在构建或维护的 Google 索引页面。

　　也有很多人使用 WordPress 建立私人博客，他们不希望自己的内容被索引。

　　同样，有些人使用 WordPress 进行项目管理或在他们的团队中，他们不希望他们的内部文档可以公开访问。

　　在上述所有情况下，您都不希望搜索引擎为您的 网站 编制索引。

　　一个常见的误解是，如果没有指向我的域名的外部链接，搜索引擎将永远不会发现我的 网站。这并不完全正确。

　　搜索引擎有多种方法可以找到您的 网站。例如：

　　互联网上一直在发生很多事情，其中​​大部分是你无法控制的。但是，您仍然可以控制您的 网站，并且您可以指示搜索引擎不要索引或关注您的 网站。

　　阻止搜索引擎抓取和索引 网站

　　WordPress 带有一项功能，可让您告诉搜索引擎不要索引您的 网站。您只需在“设置”-“阅读”页面中勾选“建议搜索引擎不要索引此站点”前面的框即可。

　　选中后，WordPress 会自动将以下代码添加到 网站 的标题部分：

　　name='robots' content='noindex,follow' />

　　WordPress 还会修改 网站 的 robots.txt 文件，并在其中添加以下代码：

　　用户代理： *

　　不允许： /

　　这些代码告诉机器人（网站crawlers）不要索引你的页面。然而，这一切都取决于搜索引擎是接受还是忽略它。即使大多数搜索引擎都遵循此规则，网站 上的某些页面或随机图像仍可能会被编入索引。

　　您如何确保您的 网站 不出现在搜索结果中？

　　WordPress 的默认 网站 可见性设置告诉搜索引擎不要索引 网站。但是，搜索引擎仍可能从您的 网站 抓取和索引页面、文件或图像。

　　确保您的 网站 100% 未被搜索引擎索引的唯一方法是在服务器级别对整个 WordPress网站 进行密码保护。

　　这意味着如果有人想访问您的 网站，在他们访问 WordPress 之前，服务器会要求他们提供用户名和密码以进行身份​​验证，当然包括搜索引擎。登录失败后，服务器会返回401错误，爬虫离开。以下是如何使用密码保护您的整个 WordPress 网站。

　　使用插件密码保护 WordPress

　　SeedProd – 这是 WordPress 即将推出的最佳维护模式插件，被超过 800,000 个网站s 使用。它具有完全的访问控制和权限，您可以使用它对所有人隐藏 网站，包括搜索引擎。

　　密码保护 - 这是一个插件，只需一个密码即可保护整个 WordPress网站（无需创建用户）。

　　希望这个 文章 可以帮助您阻止搜索引擎抓取和索引您的 WordPress 网站。您可能还想查看 WordPress 保护安全指南。