搜索引擎优化入门指南(X-Robots-标签x-robots“noindex,”有关元机器人)

　　搜索引擎优化入门指南(X-Robots-标签x-robots“noindex,”有关元机器人)

　　...

　　此示例将所有搜索引擎排除在索引页面和跟踪页面的任何链接之外。如果要排除多个爬虫，例如 googlebot 和 bing，可以使用多个 bot 排除标记。

　　元指令影响索引，而不是爬网

　　Googlebot 需要抓取您的网页才能查看其元指令，因此如果您试图阻止抓取工具访问某些网页，元指令就不是这样做的方法。必须抓住机器人标签才能受到尊重。

　　X-Robots - 标签

　　x-robots 标签用于 URL 的 HTTP 标头，如果您想*敏*感*词*阻止搜索引擎，它比元标签提供更多的灵活性和功能，因为您可以使用正则表达式、阻止非 HTML 文件和应用站点范围的无索引标签。

　　例如，您可以轻松排除整个文件夹或文件类型（如 /no-bake/old-recipes-to-noindex）：

　　标题集 X-Robots-Tag “noindex, nofollow”

　　机器人元标记中使用的衍生物也可以用于 X-Robots-Tag。

　　或特定文件类型（如 PDF）：

　　标题集 X-Robots-Tag "noindex, nofollow"

　　有关元机器人标签的更多信息，请浏览 Google 的机器人元标签规范。

　　排名：搜索引擎如何对 URL 进行排名？

　　搜索引擎如何确保当有人在搜索栏中输入查询时，他们会得到相关的结果作为回报？此过程称为排名，或将搜索结果从与特定查询最相关到最不相关的顺序排序。

　　为了确定相关性，搜索引擎使用算法、过程或公式来检索存储的信息并以有意义的方式对其进行排序。这些算法多年来经历了许多变化，以提高搜索结果的质量。例如，谷歌每天都会进行算法调整——其中一些更新是细微的质量调整，而另一些则是为解决特定问题而部署的核心/广泛算法更新，例如企鹅解决链接垃圾邮件。查看我们的 Google 算法更改历史记录，了解可追溯到 2000 年的已确认和未确认的 Google 更新列表。

　　为什么算法变化如此频繁？谷歌只是想让我们保持警惕吗？虽然谷歌并不总是透露他们为什么这样做的细节，但我们知道谷歌在进行算法调整时的目标是提高整体搜索质量。这就是为什么在回答算法更新问题时，Google 会回答类似：“我们一直在进行质量更新”。比较质量指南或搜索质量评估指南，这两者都非常能说明搜索引擎想要什么。

　　搜索引擎想要什么？

　　搜索引擎一直想要同样的事情：以最有用的格式为搜索者的问题提供有用的答案。如果这是真的，那么为什么现在的 SEO 看起来与过去几年不同？

　　把它想象成某人学习一门新语言。

　　起初，他们对语言的理解非常初级——“See Spot Run”。随着时间的推移，他们的理解开始加深，他们学习语义——语言背后的含义以及单词和短语之间的关系。最终，通过足够的练习，学生们对语言的了解足以甚至能够理解细微差别，并能够为甚至模糊或不完整的问题提供答案。

　　当搜索引擎刚刚开始学习我们的语言时，通过使用实际上违反质量准则的技巧和策略来玩弄系统要容易得多。以关键字填充为例。如果您想对“搞笑笑话”等特定关键字进行排名，您可以在页面上多次添加“搞笑笑话”一词，并将其加粗，以期提高该词的排名：

　　欢迎来到有趣的笑话！我们讲世界上最有趣的笑话。有趣的笑话既有趣又疯狂。你有趣的笑话在等着你。坐下来阅读有趣的笑话，因为有趣的笑话可以让你快乐和有趣。一些有趣的最喜欢的笑话。

　　这种策略导致了糟糕的用户体验，人们没有嘲笑有趣的笑话，而是被烦人的、难以阅读的文字轰炸。它在过去可能有效，但这绝不是搜索引擎想要的。

　　搜索引擎想要什么？

　　搜索引擎一直想要同样的事情：以最有用的格式为搜索者的问题提供有用的答案。如果这是真的，那么为什么现在的 SEO 看起来与过去几年不同？

　　把它想象成某人学习一门新语言。

　　起初，他们对语言的理解非常初级——“See Spot Run”。随着时间的推移，他们的理解开始加深，他们学习语义——语言背后的含义以及单词和短语之间的关系。最终，通过足够的练习，学生们对语言的了解足以甚至能够理解细微差别，并能够为甚至模糊或不完整的问题提供答案。

　　当搜索引擎刚刚开始学习我们的语言时，通过使用实际上违反质量准则的技巧和策略来玩弄系统要容易得多。以关键字填充为例。如果您想对“搞笑笑话”等特定关键字进行排名，您可以在页面上多次添加“搞笑笑话”一词，并将其加粗，以期提高该词的排名：

　　欢迎来到有趣的笑话！我们讲世界上最有趣的笑话。有趣的笑话既有趣又疯狂。你有趣的笑话在等着你。坐下来阅读有趣的笑话，因为有趣的笑话可以让你快乐和有趣。一些有趣的最喜欢的笑话。

　　这种策略导致了糟糕的用户体验，人们没有嘲笑有趣的笑话，而是被烦人的、难以阅读的文字轰炸。它在过去可能有效，但这绝不是搜索引擎想要的。

　　链接在SEO中的作用

　　当我们谈论链接时，我们可以指两件事。反向链接或“入站链接”是指向您 网站 的其他 网站 的链接，而内部链接是指向您自己的其他页面的 网站（在同一个 网站@ > 以上）链接。

　　

　　链接历来在搜索引擎优化中发挥了重要作用。很久以前，搜索引擎需要帮助确定哪些 URL 比其他 URL 更值得信赖，以帮助他们确定如何对搜索结果进行排名。计算任何给定站点的链接数量有助于他们做到这一点。

　　反向链接的工作方式与现实生活中的 WoM（口碑）推荐非常相似。让我们以假设的咖啡店 Jenny's Coffee 为例：

　　这就是创建 PageRank 的原因。PageRank（谷歌核心算法的一部分）是一种链接分析算法，以谷歌创始人之一拉里佩奇的名字命名。PageRank 通过测量指向它的链接的质量和数量来估计网页的重要性。假设一个网页越相关、越重要和越值得信赖，它将获得的链接越多。

　　您从高权威（受信任）网站 获得的有机反向链接越多，您在搜索结果中排名更高的机会就越大。

　　内容在SEO中的作用

　　如果链接不将搜索者引导至某事，则链接毫无意义。那就是满足！内容不仅仅是文字；它是搜索者消费的任何东西——视频内容、图像内容，当然还有文本。如果搜索引擎是答录机，那么内容就是引擎提供这些答案的方式。

　　每当有人执行搜索时，都会有数千个可能的结果，那么搜索引擎如何决定搜索者会找到哪些有价值的页面呢？确定页面对给定查询的排名的一个重要部分是页面上的内容与查询意图的匹配程度。换句话说，此页面是否与搜索词匹配并有助于完成搜索者试图完成的任务？

　　由于关注用户满意度和任务完成，因此没有严格的基准来确定您的内容应该多长、关键字应该收录多少次或您在标题标签中放置的内容。所有这些都会影响页面在搜索中的表现，但重点应该放在将阅读内容的用户身上。

　　今天，有数百甚至数千个排名信号，前三名仍然相当一致：指向您的 网站 的链接（用作第三方可信度信号）、页面内容（满足搜索者意图的质量内容）和排名大脑。

　　什么是RankBrain？

　　RankBrain 是 Google 核心算法的机器学习组件。机器学习是一种计算机程序，它随着时间的推移通过新的观察和训练数据不断改进其预测。换句话说，它一直在学习，因为它一直在学习，所以搜索结果应该不断改进。

　　例如，如果 RankBrain 注意到排名较低的 URL 比排名较高的 URL 为用户提供更好的结果，您可以打赌 RankBrain 会调整这些结果，将更相关的结果移到更高的位置，并将相关性较低的页面降级为-产品。

　　

　　与搜索引擎的大多数事情一样，我们并不确切地知道 RankBrain 是由什么组成的，但显然谷歌的人也不知道。

　　这对 SEO 意味着什么？

　　随着 Google 继续利用 RankBrain 来推广最相关和最有用的内容，我们需要比以往任何时候都更加关注满足搜索者的意图。通过为可能登陆您页面的搜索者提供最佳信息和体验，您已经迈出了在 RankBrain 世界中脱颖而出的第一步。

　　参与度指标：相关性、因果关系还是两者兼而有之？

　　对于 Google 排名，参与度指标可能部分是相关性，部分是因果关系。

　　当我们说参与度指标时，我们指的是代表搜索者如何通过搜索结果与您的 网站 互动的数据。这包括以下内容：

　　点击次数（来自搜索的访问）

　　页面停留时间（访问者在离开页面之前在页面上花费的时间）

　　跳出率（用户仅查看一页的所有网站会话的百分比）

　　Pogo-sticking（点击一个自然结果，然后快速返回 SERP 以选择另一个结果）

　　许多测试，包括 Moz 自己的排名因素调查，都表明参与度指标与更高的排名相关，但因果关系一直受到激烈争论。良好的参与度指标是否仅表明排名较高 网站？还是 网站 排名更高是因为他们有良好的参与度指标？

　　谷歌说什么

　　虽然他们从未使用过“直接排名信号”一词，但谷歌已经明确表示他们绝对使用点击数据来修改特定查询的 SERP。

　　谷歌前搜索质量主管 Udi Manber 表示：

　　“排名本身可能会受到点击数据的影响。如果我们发现，对于一个特定的查询，80% 的人点击#2，只有 10% 的人点击#1，一段时间后我们会发现 #2 可能是人们想要的，所以我们会切换它。”

　　前谷歌工程师 Edmond Lau 的另一条评论证实了这一点：

　　“显然，任何合理的搜索引擎都会在自己的结果中使用点击数据来反馈给排名，以提高搜索结果的质量。如何使用点击数据的实际机制通常是专有的，但谷歌很清楚它使用点击数据及其专有系统，例如排名调整的内容项目。”

　　由于谷歌需要维护和提高搜索质量，参与度指标似乎不可避免地不仅仅是相关性，但谷歌似乎并没有将参与度指标称为“排名信号”，因为这些指标是用来提高搜索质量的，而排名是只是一个副产品。

　　哪些测试证实了

　　各种测试已经证实，谷歌将调整 SERP 顺序以响应搜索者的参与：

　　由于用户参与度指标明确用于调整 SERP 的质量，并且位置变化被列为副产品，因此可以肯定地说 SEO 应该针对参与度进行优化。参与度不会改变您网页的客观质量，而是改变您相对于该查询的其他结果对搜索者的价值。这就是为什么在您的页面或其反向链接没有改变之后，如果搜索者的行为表明他们更喜欢其他页面，您的排名可能会下降。

　　就页面排名而言，参与度指标就像一个事实检查器。链接和内容等客观因素将页面排在首位，然后参与度指标可帮助 Google 在未获得正确结果时进行调整。