简述什么是搜索引擎优化( 全文搜索引擎的是如何搜集网站的呢的？(组图))

　　简述什么是搜索引擎优化(

全文搜索引擎的是如何搜集网站的呢的？(组图))

　　

　　您不会对搜索引擎感到陌生。搜索引擎是互联网发展最直接的产物。它们可以帮助我们从海量的互联网数据中找到我们查询的内容，也是我们日常学习、工作、娱乐必不可少的查询。工具。

　　之前经常用谷歌和百度搜索，但对搜索引擎的知识结构没有一个整体的概念。前段时间的实习让我有机会全面了解搜索引擎，挺有意思的。所以，即使在找工作的压力下，一定要花时间总结和复习所学，以便日后参考。如果它能帮助别人，那就更好了。

　　搜索引擎的标准定义：搜索引擎是指按照一定的策略，利用特定的计算机程序从互联网上采集信息，并将信息组织处理后，为用户提供检索服务，为用户检索相关信息。向用户呈现信息的系统。从上面的定义，我们可以得到关于搜索引擎的几个关键步骤，即：采集信息；组织和处理信息；显示信息。事实上，真正的搜索引擎架构是基于这三个模块的。

　　1. 搜索引擎分类

　　搜索引擎的种类很多，分类也很多，按其工作方式可以分为以下几类：

　　1）全文搜索引擎

　　全文搜索引擎可以说是真正的搜索引擎，包括我们身边著名的谷歌、百度等大型搜索引擎，都是全文搜索引擎。全文搜索引擎从 网站 中提取信息以构建网页数据库。

　　全文搜索引擎如何采集网站？其实一般有两种方法：

　　1> 搜索引擎定期发出网络爬虫（也称为蜘蛛或机器人）在互联网上检索网站。一旦找到新的网站，它会自动提取其信息并将其添加到自己。在数据库中；

　　2> 网站业主主动向搜索引擎提交自己的网站信息，但主动提交网站并不一定保证他们的网站会被搜索引擎搜索到收录@ >、网站业主可以通过外链增加自己网站的关注度（这属于SEO的知识）。

　　全文搜索引擎如何显示查询结果？

　　当用户输入一个查询（query）时，搜索引擎会在数据库中进行搜索。如果它找到一个匹配用户请求的网站，它会使用一种特殊的算法——通常根据网页中的关键词每个网页的匹配度、出现位置、频率、链接质量——计算每个网页的相关度和排名等级，然后将这些网页链接按照相关度依次返回给用户。

　　我们可以看到全文搜索引擎的特点是搜索率比较高。

　　2）目录搜索引擎

　　目录搜索引擎主要按类别对网站进行收录@>，查询时不需要输入关键词。最典型的目录搜索引擎有新浪、雅虎等。

　　目录索引中无需输入任何文字，只要点击网站提供的学科分类目录，即可找到所需的网络信息资源。虽然有搜索功能，但不能称为真正意义上的搜索引擎，它只是一个按目录分类的网站链接列表。用户可以完全按照分类找到自己需要的信息，无需依赖关键词（Keywords）进行查询。如果把一本书比作网站，就好像我们去图书馆按地区找我们需要的书，所以形象地称为目录搜索引擎。

　　3）元搜索引擎

　　元搜索引擎（META Search Engine）接受用户的查询请求后，同时在多个搜索引擎上进行搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等。在中文元搜索引擎中，代表作是搜星搜索引擎。在排列搜索结果方面，有的直接按来源排列搜索结果，如Dogpile；有些根据自定义规则重新排列结果，例如 Vivisimo。

　　4）垂直搜索引擎

　　在介绍垂直搜索引擎之前，我们先解释一下水平和垂直行业的含义。

　　横向产业一般是指跨行业，包括多个领域或行业；而垂直行业是指某个行业或某个领域。

　　了解了垂直行业之后，我们对垂直搜索引擎的了解就不难了。垂直搜索引擎是近年来兴起的一种新型搜索引擎。不同于一般的网络搜索引擎，垂直搜索侧重于特定的搜索领域和搜索需求（例如：机票搜索、旅游搜索、生活搜索、小说搜索、视频搜索、购物搜索等），具有更好的用户体验他们的特定搜索区域。与通常需要数千台检索服务器的一般搜索相比，垂直搜索需要较低的硬件成本、特定的用户需求和多种查询方法。典型的垂直搜索引擎包括去哪儿和携程。

　　5）其他分类搜索引擎

　　除了以上四种搜索引擎，还有集体搜索引擎、门户搜索引擎和免费链接搜索引擎，这里不再详细介绍。

　　2. 搜索引擎基础设施

　　一个优秀的搜索引擎需要复杂的架构和算法来支持海量数据的获取和存储，并快速准确地响应用户查询。从架构的角度来看，搜索引擎需要具备获取、存储和处理数百亿海量网页的能力，同时保证搜索结果的质量。

　　要构建搜索引擎的基础设施，应考虑以下三个问题：

　　如何获取、存储和计算如此海量的数据？

　　如何快速响应用户查询？

　　如何让搜索结果满足用户的信息需求？

　　下图是一个通用搜索引擎的*敏*感*词*：

　　

　　从上面的搜索引擎架构图可以看出，一个完整的搜索引擎架构（以全文搜索引擎为例）需要收录三大块（我们在开头提到）：

　　1）采集信息：这个阶段是基础数据收录@>阶段，主要任务是建立一个网页数据库。该阶段主要依靠网络爬虫技术采集全网数据并进行收录@>。这个阶段还包括网页去重的过程，主要使用去重技术。

　　2）整理和处理信息：这里最重要的环节是建立索引，主要技术是倒排索引技术。当然，现阶段也有建立连接和防作弊技术。

　　3）显示信息：搜索引擎根据用户的查询搜索数据库，然后根据内容、链接匹配度和具体的排序算法将结果显示给用户。目前常用的排序算法主要有Learning2Rank排序方法和GBRank算法。

　　下面我们详细描述每个链接。

　　1）网页抓取和收录@>

　　网络爬虫技术是网络爬虫的核心技术。我们可以通过编写某些程序或脚本来抓取 Internet 上的信息。网络爬虫技术的详细介绍会在后面的博文中介绍，这里不再详述。网页爬取完成后，我们需要建立相应的数据库来存储我们爬取的网页信息。但是，互联网上的信息是多余的。主要原因是各大网站也会在后台爬行。他们还会使用爬虫来检测一些热门内容或文章，然后进行爬取。信息和重新组织格式，但实际上页面的内容几乎相同。因此，在收录@>爬虫爬取网页信息之前，

　　2）索引

　　爬取网页信息后，我们需要对网页信息进行解析，提取网页的主题内容和类别信息。这就是我们通常所说的网页解析，主要涉及文本识别和文本分类技术。网页解析后输出的往往是一些结构化的信息（每个网页的信息完整性不同，我们需要统一对数据进行结构化操作）。一般的结构化信息包括网页的URL、网页的代码、网页的标题、作者、生成时间、类别信息、摘要等。获取网页的结构信息后，需要建立相应的索引。为了加快响应用户查询，通过称为“倒排索引”的高效查询数据结构保存网页内容，同时保存网页之间的链接关系。之所以保存链接关系，是因为该关系在网络F相关性排名阶段可用，通过“链接分析”可以判断页面的相对重要性，对为用户提供准确的搜索结果有很大帮助。

　　由于互联网上的网页信息量巨大，搜索引擎的建设离不开大数据处理平台和云计算技术。目前比较常用的大数据处理平台是Hadoop生态架构。

　　3）查询词分析

　　查询词分析通常称为查询分析或查询聚类。当搜索引擎接收到用户的查询词时，首先需要对查询词进行分析，希望通过结合查询词和用户信息，正确推断出用户的真实搜索意图。例如，如果用户输入查询词“养水仙”，那么除了基本的内容匹配外，搜索引擎还需要了解用户。其实用户的查询词也可以这样理解“水仙怎么养”，“水仙好养吗？” 和其他类似的查询词。之后，首先在缓存中搜索。搜索引擎的缓存系统存储着不同查询意图对应的搜索结果。如果满足用户的信息' s需要可以在缓存系统中找到，搜索结果可以直接返回给用户。这样，既节省了重复计算的资源消耗，又加快了响应速度。

　　4）搜索排序

　　搜索引擎分析用户的查询词后，如果缓存的信息不能满足用户的查询要求，搜索引擎会根据索引查询数据库的网页内容，并根据网页内容对网页进行排序，用户的需求。页面排名需要很多因素，其中最重要的两个是：

　　1>网页内容与用户查询内容的相似度（匹配度）：这个不难理解。搜索引擎的基本功能是查询。如果搜索引擎不能为用户提供用户需要查询的内容，则不能称其为搜索引擎，因此网页内容与用户查询内容的相似度是网页排名的首要依据；

　　2>网页的重要性：网页的重要性与网页内容的质量有关。在满足用户需求的基础上，用户想要获得高质量的内容是可以理解的。

　　搜索引擎根据以上因素对查询结果进行排序，并展示给用户。

　　5）推荐系统

　　事实上，从松散的角度来看，整个网页排序过程是一种推荐策略。严格来说，推荐系统并不是搜索引擎架构的必要组成部分，上图中也没有显示推荐系统。但一个优秀的搜索引擎不仅要能够分析用户查询的基本需求，还要能够理解或猜测用户下一步可能的需求。目前，随着大数据的蓬勃发展，各大互联网公司和众多专家认为推荐系统是解决互联网大数据的有效途径。而且，最近越来越流行的个性化推荐知识。事实上，推荐系统在搜索引擎中往往以中间页面的形式展示，