基于Google搜索引擎，基本原理和理论同样适用于Bing

　　基于Google搜索引擎，基本原理和理论同样适用于Bing

　　在第一章中，我们说过搜索引擎是一个问答机。它的意义在于发现、理解、存储和组织互联网上的内容。当用户搜索时，他们会根据相关性对内容进行排名。用户。

　　搜索结果的相关性，即搜索结果是否符合用户的意图，是衡量搜索引擎好坏的最重要指标。

　　简单地说，“用户可以搜索他们想要的东西。”

　　由于每个人的知识背景不同，即使使用相同的关键词进行搜索，每个人的意图（需要的答案）也不一定相同。满足全世界用户的愿望不是一件容易的事。

　　毫无疑问，谷歌是目前世界上最好的搜索引擎。为什么人们想用谷歌而不是百度？这是因为 Google 可以搜索我们需要的答案。

　　换句话说，Google 更了解用户。

　　以下文章基于Google搜索引擎，基本原理和理论同样适用于Bing等其他搜索引擎。

　　一、搜索引擎是如何工作的？爬取：连续搜索整个互联网，根据网址抓取网站内容和代码。索引索引：存储和组织捕获的海量网络内容。 网站被捕获后，将进入索引过程。索引完成后，可以在相关搜索结果中看到网站的内容。 Rank：根据用户的搜索词从存储的网页中查找相关内容，将网站的部分片段展示给用户。 网站越符合用户的搜索意图，排名就越高。搜索引擎如何抓取网页？

　　搜索引擎机器人（也称为“蜘蛛”）不断在互联网上寻找和发现新内容。

　　内容可以是网页、视频、PDF文件，无论哪种格式，最终都是以URL链接的形式被发现。

　　

　　

　　蜘蛛从一个网络节点（URL）开始，爬取这个节点的内容，同时在这个节点找到其他的URL节点，然后继续往下爬这些节点，直到爬满整个互联网URL。

　　这里有很重要的一点，就是你的网页网址必须出现在其他蜘蛛已经爬过的网页中，否则蜘蛛是找不到你的。

　　在其他网站中指向我们网站的链接称为外部链接。搜索引擎蜘蛛不仅依靠外部链接来抓取我们的网页内容，还会根据外部链接的数量和来源的可靠性来判断我们的内容。网页的质量好坏。

　　当然，你也可以设置网站不被蜘蛛抓取，或者只允许蜘蛛抓取部分内容。

　　什么是索引？

　　搜索引擎拥有庞大的数据库系统。被爬取的网页会进入这个数据库系统，按照一定的规则进行排序和存储。这个过程就是索引。

　　什么是搜索引擎排名？

　　当用户输入关键词进行搜索时，搜索引擎从索引数据库中检索出相关内容，然后按照自己的算法进行排序，将其认为最相关的内容进行排列以满足用户的需求查询需要，这个按照相关性排序的过程就是排名排序。

　　二、如何判断一个网页是否被搜索引擎收录？

　　在搜索引擎中输入“site:”，如果返回的结果中有你的网站内容，则表示网站已被索引。

　　

　　

　　返回的结果中有一行显示有多少个结果。这个数据是谷歌索引数据库中关于这个网站的所有网页的数量。结果可能不准确，可以作为参考。

　　如果您需要更准确的索引数量，可以使用 Google 提供的免费工具 Google 网站管理员工具（Google Search Console）查看。

　　

　　

　　如果您的网站没有出现在搜索结果中，可能是由于以下原因：

　　谷歌的蜘蛛机器人已经够聪明了，但还是无法理解你网站中哪些页面重要，哪些页面已经过时，哪些页面不需要编入索引（比如隐私声明等） .)，所以我们有必要把这个信息告诉谷歌，网站在处理蜘蛛机器人的语言中是以下两个文件：

　　机器人.txt

　　一般位于网站root目录下，这个文件会由WordPress中安装的Yoast SEO、All in one SEO、Rank Math等常用SEO插件自动生成。

　　

　　

　　这个文件有三个作用：

　　如果你的网站没有这个文件，谷歌会默认抓取所有可以抓取的网址。如果有这个文件，谷歌蜘蛛就会按照这个文件的规范进行抓取。

　　Robots 文件只是一个软约束，并非所有搜索引擎都会遵循此规则，恶意电子邮件地址搜索引擎也不会遵循此规则。

　　另外，如果是WordPress网站，请确保设置中的“搜索引擎不索引此站点”选项未勾选。

　　

　　

　　什么是抓取预算？

　　谷歌蜘蛛再厉害，它能收录的网络资源也是有限的。尽管我们指定了漫游器规则以允许 Google 抓取整个网站的内容，但 Google 不一定接受它。

　　收录的具体内容取决于你的网站内容的重要性、新旧等诸多因素。这个最终能被搜索引擎收录搜索到的数据量，就是蜘蛛对我们网站的爬行预算。

　　如何让谷歌优先收录important 内容？

　　由于抓取预算有限，为了让 Google收录 优先考虑我们认为重要的内容，请确保以下几点：

　　内容并没有隐藏在登录界面后面，谷歌无法抓取需要登录才能看到的内容。虽然谷歌越来越智能，但它不能保证图像和视频中的文本内容可以被完全索引。如果网页内容是图片、视频等多媒体格式，最好同时添加文字。清晰的内部导航结构。一个网页，如果没有内链指向它，就相当于在蜘蛛眼中不存在。这里所说的链接不仅仅是页面头部的导航，还有页面之间的链接关系。

　　

　　

　　使用站点地图站点地图。站点地图，顾名思义，就是网站的URL列表，其作用是告诉搜索蜘蛛网站有哪些页面。这个文件可以手动编辑，当然也可以通过SEO插件自动生成。

　　

　　

　　站点地图规范请参考谷歌站点地图帮助文档

　　三、搜索引擎如何对结果进行排名？

　　搜索引擎如何确保用户在查询某个关键词时得到他们想要的答案？

　　

　　

　　答案基于相关性。

　　谷歌如何确定网页与某个关键词的相关性？

　　答案是 Google 的排名算法。

　　排序算法是 Google 的核心资产。对于外人来说，排序算法是一个黑匣子。我们无法知道里面是什么，只能从外部观察。

　　而且，谷歌的算法还在不断变化，甚至每天都在变化。具体可以查看Moz计算的谷歌核心算法更新记录：/google-algorithm-change，这里记录了2000年以来的所有重大更新。

　　花太多时间研究谷歌的算法是不可取的，谷歌不会主动公开算法更新的信息。我们能找到的算法信息是SEO行业人士的经验总结。

　　无论算法如何变化，其方向始终不变，提高搜索结果质量，尽快满足客户意图。

　　我们的努力应该与它保持一致，满足客户的意图。

　　那么什么样的网页最有可能满足客户的意图？

　　1、LINK 链接

　　在前面的文章中，我们提到如果一个页面没有被外部网页链接，搜索引擎蜘蛛将无法看到它，也不会被索引。因此，链接在搜索引擎中起着非常关键的作用。

　　链接不仅决定一个网页是否可以被索引，链接的数量和质量也是搜索引擎衡量网页排名的重要标准。

　　有两种链接：

　　

　　

　　外链：顾名思义就是在外链网站中引入我们的网站的链接地址，而内链是我们网站相互引入不同页面的链接地址。

　　外部链接类似于现实社会中的口口相传。如果每个人都说某家餐厅的食物很好吃，特别是如果有权吃这家餐厅的人或组织也说这家餐厅很好吃，那么我们基本上可以判断这家餐厅的食物很好（虽然不一定正确） ，但这就是现实世界的运作方式）。

　　内链就相当于说你餐厅的菜很好吃，你的权威会少很多。

　　改为网站。如果有很多权威的网站链接到你的网站，说明你的网站口好。搜索引擎也会根据口耳相传来确定页面排名。

　　链接权益

　　除了链接数，还有权重测量。权重相当于现实世界中的可信度。咖啡领域的专家评价某款酒的好坏，可信度不如葡萄酒领域的专家。

　　Google 有一个专有术语“PageRank”来衡量链接的权重，它是由创始人拉里佩奇发明的。网页内容越相关，行业权威度越高网站，链接权重越高。

　　关于链接权益的详细介绍，请参考：/learn/seo/what-is-link-equity。

　　我们如何让其他人链接到我们的网站？

　　网站 不可能无缘无故地引入另一个网站 的链接。就像在现实世界中一样，在不知道某家餐厅的情况下，我们不会无缘无故地说它好。某个行业比较权威，不愿意随意评论的人。

　　对于网站要被其他网站引用，尤其是网站的高权重、高质量的内容是必不可少的部分。

　　2、content

　　这个搜索引擎问答机的答案来自它抓取的网页内容，而不是它存储的答案。

　　换句话说，如果您在 Google 上查询一个问题，Google 只会告诉您哪个页面最有可能回答您的问题。

　　每个用户的查询都有数千个可能的结果。搜索引擎如何知道哪个页面最有可能满足用户的查询需求？

　　如上所述，搜索引擎是根据用户的意图以及使用的关键词与页面内容的匹配度来判断的。

　　如何计算匹配度，什么样的页面最匹配关键词或用户意图？ 关键词 出现多少次合适？页面内容多长？

　　这些问题也没有标准答案，或者除了谷歌之外的任何人都不可能完全理解。

　　听到这里，你可能会觉得很难过......作为一个SEO从业者，这个行业没有硬性标准。

　　别担心，我们不知道排序算法和相关算法是如何工作的，但我们知道它的操作结果。

　　全球SEO从业者通过逆向工程不断调整各种网页参数，观察搜索结果的排名规律，总结出影响排名的数百个因素，发现三个关键因素没有变化：

　　外部反向链接网页内容（满足搜索者意图的高质量内容）RankBrain3、RankBrain

　　RankBrain 是 Google 核心算法的机器学习组件。所谓机器学习，其实就是一个计算机程序。该程序与普通程序的区别在于，它会根据当前的结果和性能不断调整下一个排名结果。因此，我们看到的搜索结果是不断变化的，每次搜索可能会看到不同的结果。

　　例如：如果一个排名较低的页面受到用户的关注较多，它可能会在下一个搜索结果中排名第一。这就是 RankBrain 发挥作用的地方。

　　

　　

　　同样，我们不知道 RankBrain 的工作原理，甚至像 Google 这样复杂的工程师也不知道。

　　4、engagement 指标

　　另一个越来越重要的指标是参与度，即用户在网页上的交互，主要表现在：

　　4、其他排名因素

　　以上四个只是SEO行业从业者总结的最有可能影响排名的因素。 MOZ 进行了一项调查并采集了可能影响搜索引擎排名的因素。详情请参考：/search-ranking-factors/correlations。