输入关键字 抓取所有网页(搜索引擎的搜索展现大部分为排序、索引、抓取三个步骤)

　　输入关键字 抓取所有网页(搜索引擎的搜索展现大部分为排序、索引、抓取三个步骤)

　　搜索引擎的搜索结果大多是排序、索引、爬行。其实原理很复杂。过程中需要抓取信息去重复、中文分词、关键词内容对比、页面链接关系等。、噪声消除、索引、搜索显示等，这些在下面详细描述。

　　搜索引擎优化的基本工作原理

　　1、获取

　　搜索引擎会抛出一种叫做“机器人、蜘蛛”的软件，按照一定的规则扫描互联网上的网站，按照网页的链接从一个页面到另一个，从一个网站去另一个网站获取页面的HTML代码并存入数据库。为了采集获取最新信息，我们会继续访问已爬取的网页。

　　2、索引

　　分析索引系统程序对采集到的网页进行分析，提取相关网页信息，并按照一定的相关性算法进行大量复杂的计算，得到页面文本和超链接中每个关键词的各个网页的相关性度，然后利用这些相关信息来构建网页索引数据库。

　　3、排序

　　当用户输入关键词进行搜索时，搜索系统程序会从网页索引数据库中查找所有与关键词匹配的相关网页。因为这个关键词的所有相关网页的相关度已经计算出来了，所以只需要按照已有的相关度值进行排序即可。相关性越高，排名越高。最后还给了用户。

　　搜索引擎的工作原理大致分为三个步骤：爬行和爬行-索引-排序。

　　爬网：主要是数据采集。

　　索引/预处理：提取文本-中文分词-去除停用词-去除噪音-去除重复-索引。

　　排序：搜索词处理-匹配文件-初始子集选择-相关计算-过滤、调整-排名显示。

　　搜索引擎优化检索流程

　　1、 抓取信息去除重复项

　　在搜索引擎优化的工作原理中，蜘蛛爬取信息后会进行一个去除数据库中杂质的过程。如果你的文章被蜘蛛抓到了，蜘蛛的内容和别人相似，那么蜘蛛就会认为你这种类型的内容毫无价值，很容易被丢弃。会有很多停用词，如：de、land、de、ah、ma等。

　　2、中文分词（分词）处理

　　搜索引擎会根据自己的字典切词，把你的标题和内容分成很多关键词。所以在创建内容时，必须在标题和内容中收录关键词。

　　3、提取网站的关键词并比较你的页面内容

　　计算页面关键词的密度是否合理。如果密度稀疏，说明你的关键词与内容不匹配，那么关键词一般没有很好的排名，不能重新分页关键词@ > 故意把页面堆在里面，导致密度很高，那么搜索引擎会认为你在作弊，只想测试关键词的累积进行排名。这种方法很容易被搜索到。引擎惩罚。

　　4、计算页面的链接关系

　　搜索引擎优化工作原理中的所谓页面链接关系，是指你的网站导出链接和导入链接的计算。所谓导出链接是指你的网站上指向其他网站的链接称为导出链接。导入链接，一个页面的导入链接越多，这个页面的分数越高，网站的页面排名就越好。导出的链接越多，页面的得分越低，不利于页面的排名。

　　5、降噪处理

　　搜索引擎优化工作原理中的所谓噪音，是指网页上弹出的大量广告。不相关的垃圾邮件页面。如果网站挂了很多弹窗广告，百度会认为你的网站严重影响用户体验。对于这些网站，百度会严厉打击，不会给你好的排名。. 百度冰桶算法对抗网站页面广告。

　　6、创建索引

　　根据上述处理结果，搜索引擎将网站的页面放入自己的索引库中。索引库中的内容实际上是百度排名的结果。当我们使用site命令查询网站的收录时，百度发布索引的内容。