谷歌 搜索引擎优化指南(谷歌机器人Googlebot如何处理robots.txt文件(电子商务))

　　谷歌 搜索引擎优化指南(谷歌机器人Googlebot如何处理robots.txt文件(电子商务))

　　一、 告诉搜索引擎如何抓取您的网站

　　如果你使用谷歌搜索控制台或者在谷歌搜索中输入“site:”，你发现一些重要的页面不是收录，或者你的一些不重要的页面是错误的收录，有一些方法可以引导谷歌机器人让您的网页变得更好收录。告诉搜索引擎如何抓取你的网站，可以让你更好地控制网站的哪些内容最终会出现在收录中。

　　大多数人都考虑确保 Google 可以找到他们的重要页面，但很容易忘记，您可能不希望 Google 漫游器找到某些页面。这些可能包括内容较薄的旧 URL、重复 URL（例如电子商务排序和过滤参数）、特殊促销代码页或测试页等。

　　要让 Googlebot 离开网站的某些页面和部分，请使用 robots.txt。

　　二、机器人。文本文件

　　Robots.txt文件位于网站的根目录下（例如/robots.txt），具体的Robots.txt指令用于提示你的网站的哪些部分应该被抓取和没有被搜索引擎抓取，以及它们能以多快的速度抓取您的 网站。

　　Googlebot 如何处理 robots.txt 文件

　　如果 Googlebot 找不到该网站的 robots.txt 文件，它将继续抓取该网站。

　　如果 Googlebot 找到某个网站的 robots.txt 文件，它通常会按照建议继续抓取该网站。

　　如果 Googlebot 在尝试访问某个网站的 robots.txt 文件时遇到错误并且无法确定是否有错误，则不会抓取该网站。

　　三、在 GSC (Google Search Console) 中定义 URL 参数

　　某些站点（电子商务中最常见的站点）通过将某些参数附加到 URL 来在多个不同的 URL 上提供相同的内容。如果您曾经在网上购物，您可能已经通过过滤器缩小了搜索范围。例如，您可以在亚马逊上搜索“鞋子”，然后根据尺码、颜色和款式细化您的搜索。每次细化，网址都会略有变化：

　　Google 如何知道哪个版本的 URL 为搜索者服务？Google 在选择要表示的 URL 方面做得很好，但您可以使用 Google 搜索控制台中的 URL 参数功能告诉 Google 您希望他们对您的页面做什么。如果您使用此功能告诉 Googlebot“不要抓取带有 ____ 参数的网址”，那么您实际上是在要求 Googlebot 隐藏内容，这可能会导致这些页面从搜索结果中删除。如果这些参数创建了重复的页面，这就是你想要的，但如果你想要收录这些页面，这就不合适了。

　　四、爬虫能找到你所有的重要内容吗？

　　现在您已经学习了一些策略来让搜索引擎抓取工具远离您不重要的内容，让我们了解我们如何帮助 Googlebot 找到重要页面的优化。

　　有时，搜索引擎可以通过抓取来找到网站的某些部分，但其他页面或部分可能由于某种原因而被隐藏。重要的是要确保搜索引擎可以找到您想要索引的所有内容，而不仅仅是您的主页。

　　问问自己：机器人可以爬过你的 网站 而不是爬过去吗？

　　您的内容是否隐藏在登录表单后面？

　　如果您要求用户在访问某些内容之前登录、填写表格或回答调查，搜索引擎将看不到这些受保护的页面。爬虫不会登录。

　　您是否依赖搜索表单？

　　机器人不能使用搜索表单。有些人认为，如果在他们的网站 上放一个搜索框，搜索引擎将能够找到访问者搜索的所有内容。

　　文本是否隐藏在非文本内容中？

　　不应使用非文本媒体形式（图像、视频、gif 等）来显示您希望编入索引的文本。尽管搜索引擎在识别图像方面越来越好，但并不能保证它们可以阅读和理解图像。最好在网页的标记中添加文本。

　　搜索引擎可以跟随你的 网站 导航吗？

　　就像爬虫需要通过其他网站的链接找到你的网站一样，它也需要你自己的网站链接路径来引导它从一个页面到另一个页面。如果您希望搜索引擎找到某个页面，但该页面未链接到任何其他页面，则该页面将不可见。许多 网站 犯了一个严重的错误，即以搜索引擎无法访问的方式构建他们的导航，这阻碍了他们在搜索结果中列出的能力。

　　以下常见的导航错误可能会阻止爬虫看到您的所有 网站 内容：

　　移动导航和桌面导航显示不同的结果

　　菜单项不在 HTML 中的任何类型的导航，例如支持 javascript 的导航。谷歌在抓取和理解 Javascript 方面做得更好，但它仍然没有完全理解它。确保某些内容被 Google 发现、理解和编入索引的更可靠方法是将其放入 HTML 中。

　　个性化，或为特定类型的访问者提供独特的导航，可能会被搜索引擎爬虫掩盖

　　忘记通过导航链接到您的网站主页-记住，链接是机器人到新页面的路径！

　　以上就是为什么你的 网站 必须有一个清晰的导航和有用的 URL 结构。

　　五、你有一个干净的信息架构吗？

　　信息架构是组织和标记 网站 内容以提高效率和用户可发现性的实践。最好的信息架构是直观的，这意味着用户不必费心浏览您的 网站 或查找内容。

　　六、你在使用网站地图吗？

　　站点地图正是它听起来的样子：爬虫可以用来发现和索引您的内容的站点上的 URL 列表。确保 Google 找到最高优先级页面的最简单方法之一是创建符合 Google 标准的文件并通过 Google 搜索控制台提交。尽管提交站点地图并不能取代对良好站点导航的需求，但它确实有助于爬虫跟踪所有重要页面的路径。因此，提交站点地图也很重要。