《-什么是搜索引擎》的爬行对象是什么

　　《-什么是搜索引擎》的爬行对象是什么

　　搜索引擎是世界上最复杂的系统之一。我们只需要了解它的工作原理。真正的搜索引擎核心技术基本不会对外公布。我们可以从信息检索技术中窥探一二。二。 SEO百科带来的是《搜索引擎工作原理介绍——什么是搜索引擎》。希望对您有所帮助。

　　

　　一、文字采集

　　搜索引擎使用爬虫通过抓取页面上的超链接来发现新页面。如果这些页面已经 收录 没有任何更新，他们将不会采取任何行动。如果他们发现页面已经更新，他们将重新申请。页面转到收录，如果这些页面不是收录，则根据页面质量和互联网内容重复率决定是否转到收录。

　　1） 爬虫

　　不同的搜索引擎有不同的名称。百度称它们为蜘蛛，谷歌称它们为机器人，当然更传统的名称是网络爬虫，或简称爬虫。搜索引擎的爬虫组件承担搜索引擎的责任，将其发现、爬取并存储到数据库中。 SEOer调整使网站更受爬虫欢迎，简化爬虫工作量，减少蜘蛛陷阱等不利于爬虫的页面设计。

　　2）信息来源

　　有了爬虫，爬虫的爬行对象是什么？一般爬虫可以爬取抓取的信息源类型是RSS。 RSS 是信息源的标准。有了这个站长，他们可以轻松转载对方网站的文章。 RSS采用的标准XML数据格式。

　　3）转化

　　爬虫会遇到各种问题。它可能会遇到一个html页面，或者一个word文档，或者一个txt文件。一般来说，搜索引擎会将这些转换成统一文本格式和文档元数据格式。在转换过程中需要删除一些内容。另一个问题是 网站 的编码。国内一般使用GB2312或UTF-8字符编码标准。

　　4）文档数据库

　　爬虫需要将爬取到的页面数据有序的存储在文档数据库中。它需要以保证效率为前提，然后还需要考虑压缩、结构化数据、超链接提取等，才能存储到数据库中。

　　二、文字转换

　　1）解析器

　　搜索引擎中的解析器主要负责处理文档中的文本语素序列，涉及到中文分词和英文分词的问题，以便更好的理解单词和短语的含义。说到“苹果”这个词，很多人首先想到的是吃一种水果，但很多人也会想到苹果生产的“iPhone”手机。这是解析器需要弄清楚的。很明显，本文提到的文章是关于水果或苹果手机的。

　　这种文档结构通常是 HTML 或 XML 结构。 HTML主要定义了网页的结构，而XML则是数据的存储。而这两种结构的文档都是标签语言，比如HTML中的a标签。

　　2）去除停用词

　　句中有一些词只是为了让句子更流畅，并没有起到很重要的作用，比如英文的“to”、“of”、“on”等，中文的“的”、“的” “地”、“得”等，当然也可能有实际价值，比如“地球”中的“地”是一个有一定价值的词，不能作为停用词去掉。

　　3） 词干

　　对于英语来说，提取词干是需要的，比如“fishing”提取fish，但在中文中几乎没有必要，因为做不到。

　　4） 超链接提取与分析

　　文档解析中提取超链接非常方便。毕竟，它们很容易识别。这些也将记录在文档数据库中。那么搜索引擎算法往往会计算出大量的超链接，这会给一定的这些页面带来很高的信任度，也可能会惩罚那些恶意使用超链接作弊的页面，包括站内和站外网站。

　　5） 信息抽取

　　页面信息需要被搜索引擎提取出与页面相关的词、发布时间、发布者、转自何处等。

　　6） 分类组件

　　类别组件页面标有属性标签，例如体育、IT 或娱乐。

　　三、 索引创建

　　1）文档统计

　　文档统计只是对单词、特征和文档的统计信息进行汇总和记录。例如，我们在搜索引擎上搜索后，搜索框下方会出现相关结果的数量。

　　2）加权前向索引

　　权重对于搜索引擎的排名非常重要。它是搜索引擎对页面进行识别和处理后的初始权重，反映文档中某些词的相对重要性，而这个加权结果是由搜索引擎检索模型确定的。 SEOer熟知的一种加权方法叫做TF-IDF。这种方法有很多变体，但它们都是基于索引项在文档中出现的数量或频率（词频-TF）以及索引项在整个文档集合中出现的频率。 （反文件频率-IDF）。简单的说，当整个文档集合（搜索引擎数据库）中出现的索引项数量少时，反文件的频率就会小，这样的页面更容易排名；文档中词频越高，页面权重越大。

　　3）倒排索引

　　倒排索引组件是搜索引擎的核心组件。它将一个文档对应多个索引项的形式转换为一个索引项对应多个文档的形式。这种做法称为建立倒排索引。

　　4） 索引分配

　　索引分发是将索引分发到多台计算机。理论上是多个网络节点。分布式结构可以使其更高效，同时可以减少其他节点问题导致的延迟。

　　四、用户互动

　　1）查询输入

　　查询输入组件提供用户界面和解析器。用户输入搜索后，对查询内容进行解析，也可以理解为分词处理。

　　2）查询转换

　　查询转换包括很多内容，比如前面提到的分词技术，去除停用词，提取词干等，然后生成可以查询的索引词。

　　在这里，我们还将尝试更正常见搜索引擎中的拼写错误。例如，“薄人转”会自动显示“薄人转”。输入拼音“cuowu”，一般会显示“error”相关的Search，而不是“misunderstanding”。还有一些相关的建议，比如下拉词的出现和相关的搜索词。

　　3）结果输出

　　结果输出页面会向用户展示已经得到的排序页面，例如这些页面的标题、摘要、图片展示等。

　　五、 索引排序

　　1）查询处理

　　查询处理组件会使用排序算法根据检索模型计算这些文档的分数，相当于二次加权过程。这里的索引排序算法就是我们经常听到的那些，比如百度的露洛算法，谷歌的企鹅算法等等。

　　2） 性能优化

　　优化索引排序算法和索引表的设计，可以减少系统的响应时间，从而提高查询的吞吐量。

　　3） 分布式

　　由于索引可以分布式给定，排序也可以分布式给定，提高了效率，节省了时间。

　　六、评估与调整

　　1）日志

　　搜索引擎的点击日志对于调整和提高搜索引擎系统的效果和效率是非常有价值的信息来源。搜索算法的不足可以通过用户查询和与搜索引擎交互的信息进行调整。很明显，SEOer常说的提高用户友好度，方法就是增加用户在网站的停留时间和打开的页面数。时间和数量越大，这个网站的用户友好度就越高。这样的页面排名有利于提高搜索友好度，对搜索引擎也大有裨益。

　　2）序列分析

　　获得日志后，您需要分析现有排名。例如，如果您给一个初始排名较高但没有点击的页面，或者点击跳出率很高，则降低此类页面的排名。页面之后，点击量多，用户行为很好，会提升这类页面的排名。当然，如果这样的页面很多，对网站整体排名也会有很好的影响。

　　3） 性能分析

　　性能分析是对每个网络节点的搜索响应、吞吐量和使用情况进行分析，从而更好地优化搜索引擎的性能。

　　以上是SEO百科带来的《搜索引擎工作原理介绍——什么是搜索引擎》。