怎么优化搜索引擎(在GSC中定义URL参数某些站点（最常见于电子商务）)

　　怎么优化搜索引擎(在GSC中定义URL参数某些站点（最常见于电子商务）)

　　在 GSC 中定义 URL 参数

　　某些网站（最常见于电子商务中）通过将某些参数附加到 URL 来在多个不同的 URL 上提供相同的内容。如果您曾经在网上购物过，您可能已经通过过滤器缩小了搜索范围。例如，您可以在亚马逊上搜索“鞋子”，然后按尺码、颜色和款式细化您的搜索。每次细化，网址都会略有变化：

　　URL 参数函数，用于告诉 Google 您希望他们对您的网页做什么。如果您使用此功能告诉 Googlebot“不抓取带有 ____ 参数的网址”，您实际上是在要求 Googlebot 隐藏此内容，这可能会导致这些网页从搜索结果中删除。如果这些参数创建了重复的页面，这就是你想要的，但如果你想让这些页面被索引，那就不太理想了。

　　爬虫能找到你所有的重要内容吗？

　　既然您知道了一些策略来让搜索引擎抓取工具远离您不重要的内容，那么请告诉我们可以帮助 Googlebot 找到您的重要页面的优化。

　　有时，搜索引擎可以通过抓取找到您网站 的某些部分，但其他页面或部分可能会因某种原因被屏蔽。确保搜索引擎可以找到您想要编入索引的所有内容，而不仅仅是您的主页，这一点很重要。

　　问问自己：机器人可以爬过你的网站 而不仅仅是把它放上去吗？

　　

　　常州SEO姜东：搜索引擎抓取、索引、排名的工作原理——搜索引擎是如何工作的

　　您的内容是否隐藏在登录表单后面？

　　如果您要求用户在访问某些内容之前登录、填写表格或回答调查，搜索引擎将看不到这些受保护的页面。爬虫永远不会登录。

　　您是否依赖搜索表单？

　　机器人不能使用搜索表单。有些人认为如果在网站上放一个搜索框，搜索引擎就能找到访问者搜索的所有内容。

　　文本是否隐藏在非文本内容中？

　　不应使用非文本媒体形式（图像、视频、GIF 等）来显示您希望编入索引的文本。尽管搜索引擎在识别图像方面变得越来越好，但不能保证他们现在能够阅读和理解它。最好在网页的标记中添加文字。

　　搜索引擎可以跟随你的网站导航吗？

　　就像爬虫需要通过来自其他站点的链接来发现您的站点一样，它也需要您自己站点上的链接路径来引导它从一个页面到另一个页面。如果您希望搜索引擎找到某个页面，但不从任何其他页面链接到该页面，那么它就像不可见一样。许多网站 犯了一个严重的错误，以搜索引擎无法访问的方式构建导航，从而阻碍了他们在搜索结果中列出的能力。

　　

　　常州SEO姜东：搜索引擎抓取、索引、排名的工作原理——搜索引擎是如何工作的

　　常见的导航错误会阻止爬虫看到您的所有网站：移动导航显示与桌面导航不同的结果

　　菜单项不在 HTML 中的任何类型的导航，例如启用 JavaScript 的导航。谷歌在抓取和理解 Javascript 方面做得更好，但仍然不是一个完美的过程。确保某些内容被 Google 找到、理解和编入索引的更可靠方法是将其放入 HTML 中。对特定类型的访问者进行个性化，或显示独特的导航，而不是其他人，可能会冒充搜索引擎爬虫忘记通过导航链接到网站 上的主页-请记住该链接是爬虫访问路径到新页面！这就是为什么你的网站 必须有清晰的导航和有用的 URL 文件夹结构。

　　您是否拥有干净的信息架构？

　　信息架构是在网站 上组织和标记内容以提高效率和用户可查找性的实践。最好的信息架构是直观的，这意味着用户不必费心浏览您的 网站 或查找内容。

　　您在使用站点地图吗？

　　站点地图顾名思义：网站 上的 URL 列表，爬虫可以使用它来发现和索引您的内容。确保 Google 找到您的最高优先级页面的最简单方法之一是创建一个符合 Google 标准的文件并通过 Google Search Console 提交。尽管提交站点地图并不能取代对良好站点导航的需求，但它肯定可以帮助抓取工具跟踪您所有重要页面的路径。

　　确保只收录您希望被搜索引擎编入索引的网址，并确保为抓取工具提供一致的说明。例如，如果您通过 robots.txt 屏蔽了该网址，或者在您的站点地图中收录了重复的网址而不是首选的规范版本，请不要在站点地图中收录该网址（我们将排在第 5 位！）。

　　如果您的网站 没有任何其他网站 链接，您仍然可以通过在 Google Search Console 中提交 XML 站点地图来将其编入索引。不能保证它们会将提交的 URL 收录在索引中，但值得一试！

　　抓取工具在尝试访问您的网址时是否出错？

　　在网站上爬取你的网址的过程中，爬虫可能会遇到错误。您可以转到 Google Search Console 中的“抓取错误”报告以检测可能发生这种情况的网址 - 此报告将显示服务器错误和未找到的错误。服务器日志文件也可以向您展示这一点，以及其他信息的宝库，例如抓取频率，但因为访问和分析服务器日志文件是一种更高级的策略，尽管您可以在此处了解更多信息。

　　在对抓取错误报告执行任何有意义的操作之前，了解服务器错误和“未找到”错误很重要。

　　4xx 代码：当搜索引擎爬虫由于客户端错误而无法访问您的内容时

　　4xx 错误是客户端错误，这意味着请求的 URL 收录不正确的语法或无法实现。最常见的 4xx 错误之一是“404-Not Found”错误。这些可能是由于 URL 拼写错误、已删除的页面或损坏的重定向而发生的，仅举几例。当搜索引擎遇到 404 时，他们无法访问该 URL。当用户遇到 404 时，他们可能会感到沮丧并离开。

　　5xx 代码：当搜索引擎爬虫由于服务器错误而无法访问您的内容时

　　5xx 错误是服务器错误，即网页所在的服务器无法满足搜索者或搜索引擎访问该页面的请求。在 Google Search Console 的“抓取错误”报告中，有一个专门针对这些错误的标签。这些通常是因为对 URL 的请求超时，所以 Googlebot 放弃了请求。查看 Google 的文档，详细了解如何修复服务器连接问题。

　　幸运的是，有一种方法可以告诉搜索者和搜索引擎您的页面已移动 - 301（永久）重定向。

　　

　　常州SEO姜东：搜索引擎抓取、索引、排名的工作原理——搜索引擎是如何工作的

　　假设您将页面从 /young-dogs/ 移动到 /puppies/。搜索引擎和用户需要从旧 URL 到新 URL 的桥梁。网桥是 301 重定向。

　　301 状态代码本身意味着该页面已永久移动到新位置，因此请避免将 URL 重定向到不相关的页面 - 旧 URL 的内容实际上不存在的 URL。如果某个页面正在针对某个查询进行排名，而您将其 301 指向具有不同内容的 URL，则其排名位置可能会下降，因为与该特定查询相关的内容不再存在。 301 是强大的-负责任地移动 URL！

　　您也可以选择 302 重定向页面，但这应该保留用于临时移动以及交付链接的公平性不是那么重要的情况。 302s有点像绕路。您通过某条路线暂时吸收流量，但不会永远吸收流量。一旦您确定您的 网站 已针对可抓取性进行了优化，接下来的工作就是确保它可以被编入索引。

　　索引：搜索引擎如何解释和存储您的网页？

　　一旦您确定您的网站 已被抓取，下一步就是确保它可以被编入索引。这是对的——仅仅因为你的网站 可以被搜索引擎找到和抓取并不一定意味着它会被存储在他们的索引中。在上一节关于抓取中，我们讨论了搜索引擎如何发现您的网页。索引是您找到的页面的存储位置。爬虫找到页面后，搜索引擎会像浏览器一样进行渲染。在这个过程中，搜索引擎会分析页面的内容。所有这些信息都存储在其索引中。

　　继续阅读以了解索引的工作原理以及如何确保您的站点进入这个非常重要的数据库。我可以看到 Googlebot 抓取工具如何查看我的网页吗？是的，您网页的缓存版本将反映 Googlebot 上次抓取该网页的时间。 Google 以不同的频率抓取和缓存网页。与 Roger the Mozbot 的副业相比，您可以通过点击 SERP 中 URL 旁边的下拉箭头并选择“缓存”来查看页面的缓存版本：

　　

　　常州SEO姜东：搜索引擎抓取、索引、排名的工作原理——搜索引擎是如何工作的

　　您还可以查看网站的纯文本版本，以确定您的重要内容是否被有效抓取和缓存。该页面是否曾从索引中删除？是的，页面可以从索引中删除！网址可能会被删除的一些主要原因包括：

　　URL 返回“未找到”错误 (4XX) 或服务器错误 (5XX) - 这可能是偶然的（页面被移动但未设置 301 重定向）或有意（页面被删除并被 404 删除）来自索引）

　　已将 noindex 元标记添加到 URL-站点所有者可以添加此标记以指示搜索引擎从其索引中省略该页面。

　　该网址因违反搜索引擎的网站administrator 指南而受到人工处罚，因此已从索引中删除。

　　该网址已被阻止抓取，访问者必须添加所需的密码才能访问该页面。

　　如果您认为您之前在Google索引中的网站页面不再显示，您可以使用网址检查工具了解页面状态，或者使用带有“请求索引”功能的Google抓取将单个 URL 提交到索引。 （额外奖励：GSC 的“获取”工具还有一个“渲染”选项，可让您查看 Google 解释您网页的方式是否存在任何问题。

　　告诉搜索引擎如何索引您的网站、机器人元指令、元指令（或“元标签”）是您可以向搜索引擎提供有关您希望如何处理网页的说明。

　　您可以告诉搜索引擎爬虫诸如“不要在搜索结果中将此页面编入索引”或“不要将任何链接资产传递给任何页面链接”等信息。这些指令通过 HTML 页面（最常用）...

　　此示例将所有搜索引擎排除在索引页面和跟踪任何页面链接之外。如果您想排除多个爬虫，例如 googlebot 和 bing，您可以使用多个机器人排除标签。

　　X-Robots-Tag

　　x-robots 标记用于 URL 的 HTTP 标头中。如果您想*敏*感*词*屏蔽搜索引擎，它提供了比元标记更多的灵活性和功能，因为您可以使用正则表达式来屏蔽非 HTML 文件并应用全站范围的 noindex 标记。

　　例如，您可以轻松排除整个文件夹或文件类型（例如）：

　　标题集 X-Robots-Tag "noindex, nofollow"

　　或特定文件类型（如 PDF）：

　　标题集 X-Robots-Tag “noindex, nofollow”

　　有关元机器人标签的更多信息，请访问 Google 的机器人元标签规范。了解影响抓取和索引编制的不同方式将帮助您避免可能会阻止您的重要页面被找到的常见陷阱。

　　排名：搜索引擎如何对网址进行排名？

　　搜索引擎如何确保当有人在搜索栏中键入查询时，他们会得到相关结果作为回报？此过程称为排名，或按与特定查询最相关或最不相关的搜索结果进行排序。

　　

　　常州SEO姜东：搜索引擎抓取、索引、排名的工作原理——搜索引擎是如何工作的

　　为了确定相关性，搜索引擎使用算法、流程或公式以有意义的方式检索和排序存储的信息。这些算法多年来经历了许多变化，以提高搜索结果的质量。例如，谷歌每天都在进行算法调整——其中一些更新是微小的质量调整，而另一些则是为解决特定问题而部署的核心/广泛的算法更新，例如企鹅对链接垃圾邮件的解决方案。查看我们的 Google 算法更改历史记录，了解可追溯到 2000 年的已确认和未确认的 Google 更新列表。

　　为什么算法变化如此频繁？谷歌只是想让我们保持警惕吗？虽然谷歌并不总是透露他们为什么这样做的细节，但我们知道谷歌在进行算法调整时的目标是提高整体搜索质量。这就是为什么在回答算法更新问题时，谷歌会这样回答：“我们一直在做高质量的更新。”这说明如果你的网站在算法调整后受到影响，请联系谷歌的Compare the quality guideline或搜索质量评估指南，两者都很好的解释了搜索引擎的需求。

　　搜索引擎想要什么？

　　搜索引擎一直想要同样的东西：以最有用的格式为搜索者的问题提供有用的答案。如果这是真的，那么为什么现在的 SEO 看起来与过去几年不同？

　　从学习一门新语言的人的角度考虑。

　　一开始，他们对语言的理解非常初级——“See Spot Run”。随着时间的推移，他们的理解开始加深，他们学会了语义——语言背后的意义以及单词和短语之间的关系。最后，通过足够的练习，学生可以很好地理解语言，甚至可以理解细微差别，并且可以为含糊或不完整的问题提供答案。

　　当搜索引擎刚刚开始学习我们的语言时，通过使用实际上违反质量准则的技术和策略来操纵系统要容易得多。以关键字填充为例。如果您想针对特定关键字（例如“有趣的笑话”）进行排名，可以在页面上多次添加“有趣的笑话”一词并使其加粗以提高该词的排名：

　　欢迎来到有趣的笑话！我们讲世界上最有趣的笑话。有趣的笑话既有趣又疯狂。你的笑话在等着你。坐下来阅读有趣的笑话，因为有趣的笑话可以让你快乐和有趣。一些有趣的最喜欢的笑话。

　　这种策略会造成糟糕的用户体验，而不是嘲笑有趣的笑话，人们会被烦人的、难以阅读的文本轰炸。它在过去可能有效，但这绝不是搜索引擎想要的。

　　

　　常州SEO姜东：搜索引擎抓取、索引、排名的工作原理——搜索引擎是如何工作的

　　链接在SEO中的作用

　　当我们谈论链接时，我们可以指两件事。反向链接或“入站链接”是其他网站 指向您网站 的链接，而内部链接是您自己网站 上指向您其他页面（在同一网站 上）的链接。

　　链接历来在搜索引擎优化中发挥着重要作用。很早就，搜索引擎需要帮助确定哪些 URL 比其他 URL 更值得信赖，以帮助他们确定如何对搜索结果进行排名。计算任何给定网站的链接数量有助于他们做到这一点。

　　反向链接的工作方式与现实生活中的 WoM（口碑）推荐非常相似。让我们以假设的咖啡店Jenny's Coffee为例：别人推荐=权威的好兆头，例如：许多不同的人告诉你珍妮的咖啡是镇上最好的，你自己的推荐=有偏见，所以这不是一个好兆头权威

　　示例：Jenny 声称 Jenny 的咖啡是镇上最好的

　　来自不相关或低质量来源的推荐 = 不是权威的好兆头，甚至可能将您标记为垃圾邮件

　　示例：Jenny 付钱给一个从未去过她的咖啡店的人，告诉别人它有多好。

　　没有推荐 = 权限不明确

　　示例：Jenny's Coffee 可能不错，但您找不到任何有意见的人，因此您无法确定。

　　这就是创建 PageRank 的原因。 PageRank（谷歌核心算法的一部分）是一种以谷歌创始人之一拉里佩奇命名的链接分析算法。 PageRank 通过衡量网页链接的质量和数量来估计网页的重要性。假设网页的相关性、重要性和可信度越高，它获得的链接就越多。

　　您从权威（受信任的）网站 获得的反向链接越自然，您在搜索结果中的排名就越高。

　　内容在 SEO 中的作用

　　如果链接没有将搜索者定向到某些内容，则链接将毫无意义。东西是内容！内容不仅仅是文字；它是搜索者想要消费的任何东西——视频内容、图像内容，当然还有文本。如果搜索引擎是答录机，那么内容就是引擎提供这些答案的手段。

　　每次有人进行搜索时，都有成千上万个可能的结果，那么搜索引擎如何决定搜索者会发现哪些页面有价值呢？在给定查询中确定页面排名的很大一部分是页面上的内容与查询意图的匹配程度。换句话说，此页面是否与搜索词匹配并帮助完成搜索者试图完成的任务？

　　由于这种关注用户满意度和任务完成度，因此对于您的内容应该多长时间、应该收录多少关键字或您在标题标签中放置的内容没有严格的基准。所有这些都会影响页面在搜索中的表现，但重点应该放在会阅读内容的用户身上。

　　今天有成百上千的排名信号，前三名相当一致：你的网站链接（作为第三方可信度信号）、页面内容（满足搜索者意图的高质量内容） )，并对大脑进行排名。

　　什么是RankBrain？

　　RankBrain 是 Google 核心算法的机器学习组件。机器学习是一种计算机程序，它使用新的观察和训练数据随着时间的推移不断改进其预测。换句话说，它一直在学习，因为它一直在学习，搜索结果应该继续改进。

　　例如，如果 RankBrain 注意到排名较低的 URL 比排名较高的 URL 为用户提供了更好的结果，您可以打赌 RankBrain 会调整这些结果以将更相关的结果移动到更高的位置，并将不太相关的页面降级为副产品。

　　与搜索引擎的大多数事情一样，我们不确切知道 RankBrain 是什么，但显然，Google 的人不知道。

　　这对 SEO 意味着什么？

　　由于 Google 将继续使用 RankBrain 来宣传最相关和最有用的内容，因此我们需要比以往任何时候都更加专注于满足搜索者的意图。为了向可能登陆您页面的搜索者提供尽可能好的信息和体验，您已经迈出了重要的第一步，以在 RankBrain 世界中取得良好的表现。

　　参与度指标：相关性、因果关系，还是两者兼而有之？在谷歌排名中，参与度指标很可能是部分相关性和部分因果关系。当我们谈论参与度指标时，我们指的是显示搜索者如何通过搜索结果与您的 网站 互动的数据。这包括以下内容：

　　点击（来自搜索的访问）

　　页面停留时间（访问者离开页面前在页面上停留的时间）

　　跳出率（用户只浏览一页的所有网站 会话的百分比）

　　Pogo-sticking（点击一个有机结果，然后快速返回 SERP 选择另一个结果）许多测试，包括 Moz 自己的排名因素调查，表明参与度指标与更高的排名有关，但因果关系一直是激烈的辩论。良好的参与度指标是否仅表示排名靠前的网站？还是因为网站 排名靠前，因为他们有良好的参与度指标？

　　谷歌怎么说

　　虽然他们从未使用过“直接排名信号”这个词，但谷歌已经明确表示他们绝对使用点击数据来修改特定查询的 SERP。 Google 前搜索质量主管 Udi Manber 表示：

　　“排名本身受点击数据的影响。如果我们发现对于一个特定的查询，80%的人点击#2，只有10%的人点击#1，过一段时间我们会发现# 2 可能是我想要的人，所以我们就换吧。”谷歌前工程师 Edmond Lau 的另一条评论证实了这一点：“很明显，任何合理的搜索引擎都会使用自己结果的点击数据反馈到排名中，以提高搜索结果的质量。使用点击数据的实际机制通常是专有的，但谷歌已经明确表示，它使用点击数据及其专利来调整排名的内容项等系统。”

　　由于 Google 需要保持和提高搜索质量，因此参与度指标似乎不可避免地不仅仅是相关性，但 Google 似乎并未将参与度指标称为“排名信号”，因为这些指标用于提高搜索质量。单个网址的排名只是一个副产品。

　　确认了什么测试

　　各种测试已经证实谷歌会根据搜索者的参与度调整SERP序列：

　　Rand Fishkin 2014 年的测试导致大约 200 人点击了 SERP 中的 URL。结果从第 7 位上升到第 1 位。有趣的是，排名提升似乎与访问链接的人的位置无关。在参与者众多的美国，排名飙升，而谷歌加拿大、谷歌澳大利亚等页面的排名仍然较低。

　　Larry Kim 对 RankBrain 前后热门页面及其平均停留时间的比较似乎表明，谷歌算法的机器学习组件降低了人们不花太多时间浏览的页面的排名位置。

　　Darren Shaw 的测试还显示了用户行为对本地搜索和地图包结果的影响。

　　由于用户参与度指标明显用于调整 SERP 的质量并将排名变化作为副产品，因此可以肯定地说 SEO 应该针对参与度进行优化。参与度不会改变您网页的客观质量，但会改变您对搜索者相对于其他查询结果的价值。这就是为什么在不更改您的页面或其反向链接后，如果搜索者的行为表明他们更喜欢其他页面，排名可能会下降。

　　就页面排名而言，参与度指标就像一个事实检查器。链接和内容等客观因素首先对页面进行排名，然后是参与度指标，可以帮助 Google 在不正确时做出调整。

　　搜索结果的演变

　　当搜索引擎缺乏当今的复杂性时，创造了术语“10 个蓝色链接”来描述 SERP 的扁平结构。每次执行搜索时，Google 都会返回一个收录 10 个自然结果的页面，每个结果的格式都相同。

　　

　　常州SEO姜东：搜索引擎抓取、索引、排名的工作原理——搜索引擎是如何工作的

　　在这个搜索领域，保持第一是搜索引擎优化的圣杯。但后来发生了一些事情。谷歌开始将一种新格式的结果添加到他们的搜索结果页面，称为 SERP 功能。一些 SERP 功能包括：

　　Google 一直在添加新的。他们甚至尝试了“零结果SERP”，即知识图谱中只有一个结果显示在SERP上，下面除了“查看更多结果”选项外没有任何结果的现象。由于两个主要原因，这些功能的添加引起了一些最初的恐慌。一方面，其中许*敏*感*词*会导致有机结果在 SERP 上被进一步推低。另一个副产品是，点击自然搜索结果的搜索者减少了，因为更多的查询是在 SERP 本身上得到回答的。

　　Google 为什么要这样做？所有这一切都可以追溯到搜索体验。用户行为表明，不同的内容格式可以更好地满足某些查询。请注意不同类型的 SERP 功能如何匹配不同类型的查询意图。我们将在第 3 章中更多地讨论意图，但就目前而言，重要的是要知道可以以多种格式向搜索者提供答案，以及您如何构建内容将影响它在搜索中出现的格式。

　　本地化搜索

　　Google 等搜索引擎拥有自己专有的本地商户列表索引，可以从中创建本地搜索结果。

　　如果您是有实际位置的客户，您可以访问公司进行本地搜索引擎优化工作（例如：牙医）或拜访他们的客户（例如：水管工）业务，请务必提出要求、核实并优化免费的“Google 我的商家信息”。

　　对于本地化搜索结果，Google 使用三个主要因素来确定排名：

　　协会

　　相关性是本地企业与搜索者正在寻找的内容相匹配的程度。为确保公司尽最大努力与搜索者相关，请确保公司信息完整准确。

　　距离

　　Google 使用您的地理位置来更好地为您提供本地搜索结果。本地搜索结果对邻近度非常敏感，邻近度是指搜索者所在的位置和/或查询中指定的位置（如果搜索者收录一个）。

　　自然搜索结果对搜索者的位置很敏感，但很少像本地包结果那样明显。

　　优秀

　　谷歌希望以人气作为一个因素，奖励在现实世界中知名的公司。除了公司的线下知名度，Google 还会考虑一些线上因素来确定本地排名，例如：