搜索引擎的工作原理是什么？有什么作用吗？

　　搜索引擎的工作原理是什么？有什么作用吗？

　　一、搜索引擎工作原理

　　搜索引擎是指按照一定的策略从互联网上采集信息并使用特定的计算机程序的系统。对信息进行整理和处理后，为用户提供搜索服务，并向用户展示与用户检索相关的相关信息。

　　搜索引擎的工作原理：

　　第一步：爬取

　　搜索引擎通过某种常规软件跟踪到网页的链接，从一个链接爬到另一个链接，就像蜘蛛在蜘蛛网上爬行一样，所以被称为“蜘蛛”或“机器人”。搜索引擎蜘蛛的爬取是有一定的规则进入的，需要遵循一些命令或者文件的内容。

　　第 2 步：获取和存储

　　搜索引擎通过蜘蛛跟踪链接抓取网页，并将抓取到的数据存储在原创页面数据库中。页面数据与用户浏览器获取的 HTML 完全相同。在抓取页面时，搜索引擎蜘蛛也会做一定量的重复内容检测。一旦他们遇到大量抄袭、采集或网站上的抄袭内容，权重极低，很可能会停止爬行。

　　第 3 步：预处理

　　搜索引擎会在各个步骤中对蜘蛛检索到的页面进行预处理。

　　除了 HTML 文件，搜索引擎通常可以抓取和索引多种基于文本的文件类型，例如 PDF、Word、WPS、XLS、PPT、TXT 文件等。

　　我们经常在搜索结果中看到这些文件类型。但是，搜索引擎无法处理图像、视频和 Flash 等非文本内容，也无法执行脚本和程序。

　　第 4 步：排名

　　用户在搜索框中输入关键词后，排名程序调用索引库数据，计算排名显示给用户，排名过程直接与用户交互。但是，由于搜索引擎数据量巨大，虽然每天可以实现小幅更新，但一般来说，搜索引擎的排名规则是按日、周、月分不同阶段更新的。

　　3、网络去重的代表性方法

　　搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合搜索引擎、门户搜索引擎和免费链接列表等。去重工作一般在分词之后、索引之前进行搜索引擎会从页面中分离出来的关键词中提取一些有代表性的关键词进行计算，进而得到网站关键词的一个特征。

　　目前有3种代表性的网页去重方法。

　　1) 基于集群的方法。该方法以6763个汉字的网页文本内容为载体。文本中某个组或某个汉字出现的频率构成一个表示该网页的向量，通过计算该向量的角度来判断是否是同一个网页。

　　2)Exclude 相同的 URL 方法。各种元搜索引擎主要使用这种方法来删除重复项。它分析来自不同搜索引擎的网页的 URL。如果网址相同，则认为是同一个网页，可以删除。

　　3)基于签名的方法。该方法利用标点符号大部分出现在网页正文中的特点，以句号两边各5个汉字作为特征码来唯一表示网页。

　　这三种方法中，第一第三种方法大多是根据内容来确定的，所以很多SEO人员会使用伪原创tools来修改文章内容，但往往伪原创tools会 原文是不顺利改，不利于排名和收录。

　　搜索引擎中也存在网站利用漏洞，比如权重高的网站不好的采集，因为网站权重高的蜘蛛会先被抓取，所以这种方式不利于一些低权重的网站。

　　为什么需要复制网页？

　　对于搜索引擎来说，我们希望呈现给用户的是新鲜有吸引力的内容，高质量的文章，而不是一大堆“换汤不换药”的陈词滥调；我们在做SEO优化，在编辑内容的时候难免会参考其他类似的文章，而这个文章可能已经被很多人采集转发了，导致相关信息大量重复在互联网上。

　　如果一个网站有很多不好的采集内容，不仅会影响用户体验，还会导致搜索引擎直接屏蔽网站。 网站上的内容之后，蜘蛛就很难爬了。

　　SEO 搜索引擎原理