seo优化搜索引擎工作原理(搜索引擎的搜索引擎工作原理是什么？怎么做的？)

　　seo优化搜索引擎工作原理(搜索引擎的搜索引擎工作原理是什么？怎么做的？)

　　搜索引擎

　　它是一个基于各种程序算法的复杂检索系统，运行在数千万台服务器上。基本工作原理（以中文搜索引擎百度为例）。（1）转发工作：从seed URL（网络位置资源符号）开始，按照超链接进入全网的web资源

　　爬取、爬取或更新（链接存储系统、链接选择系统、DNS解析服务系统、爬取调度系统、网页分析系统、链接提取系统、链接分析系统、网页存储系统多系统协作）（见图2.3）→重复初筛→原创数据存储→预处理、页面分析（提取文本、中文分词、去除停用词、去噪、正向索引、倒排索引、链接关系计算、特殊文件处理、等加权数据计算）→建立数据库（文档映射组件根据网页的级别将数据库中的网页映射到多层，通常分为重要索引库、普通库和低级库）→等待查询。

　　（2）逆向工作：用户输入查询词→中文分词→分词结果对应的文档集合（倒排索引）→交集→敏感词过滤→排序输出；

　　对于普通用户来说，他们不需要了解搜索引擎的工作原理。作为SEO优化者，了解搜索引擎的原理是做好SEO的基础，了解他们的原理可以有针对性地优化网站，使网站优化工作更加科学合理。虽然每个搜索引擎的工作细节不同，但大体原理大致相同。

　　本文中搜索引擎的工作原理是搜索引擎的共同特点，包括三个部分。

　　（1） 使用漫游机器人发现和采集互联网上的网页信息，即抓取网页资源。

　　(2） 提取整理信息，建立索引数据库，预处理排序

　　（3）根据用户输入的查询关键词，快速查询索引库中的文档，评估文档与查询的相关性，得到最终排名，并将查询结果返回给用户。它是一个搜索引擎的主要工作原理，每个部分都有多个进程。

　　比如用户搜索“搜索引擎实战分析”，过滤器检查是否收录敏感词，如果有，屏幕显示其他内容，“搜索引擎实战分析”没有敏感词，然后进入搜索者. 搜索引擎对单词进行分词处理，通常分为三个词：“搜索引擎”、“战斗”和“分析”。然后使用索引器调用信息库中与这三个词全部相关或分别相关的网页数据，使用排序器中预处理后的排序相交，并使用网页加权算法获得关键词"搜索引擎实战分析“最终排名”输出给用户。此外，通过爬虫(roamer)对信息库中存储的网页数据进行抓取和抓取，然后由分析器对网页的质量进行评估。如果网络信息与现有信息高度重复或质量不高，搜索引擎无法将其存储在信息库中，也就是常说的收录。

　　下面详细介绍从搜索引擎抓取网页、服务器对网页的处理、检索服务三个部分。

　　搜索引擎如何工作。蜘蛛爬行，爬行网络

　　搜索引擎的基础是大量网页信息的数据库，是决定搜索引擎整体质量的重要指标。如果搜索引擎的网页信息量较小，那么可供用户选择的搜索结果就会较少，而大量的网页信息可以更好地满足用户的搜索需求。

　　搜索引擎要获取大量网页信息的数据库，就必须采集网络资源。搜索引擎的爬虫可以爬取互联网上的各种网页，抓取信息。这是一个抓取和采集信息的程序。通常搜索引擎被称为蜘蛛或机器人。每个搜索引擎蜘蛛或机器人都有不同的 IP 和自己的代理名称。您通常可以在网络日志中看到具有不同 P 和代理名称的搜索引擎蜘蛛。下面代码中22.181.108.89是搜索引擎蜘蛛的IP，BaiduSpider、Sogou+web+ Spider、Googlebot、SosoSpider、pingbo分别代表百度蜘蛛和搜狗蜘蛛、谷歌机器人、搜搜蜘蛛、必应机器人。这些是各种搜索引擎蜘蛛的代理名称，

　　搜索引擎蜘蛛虽然名称不同，但它们的爬取和爬取规则大致相同。

　　（1）搜索引擎在抓取网页时会同时运行多个蜘蛛程序，根据搜索引擎地址库中的URL浏览爬取网站。地址库中的URL收录用户提交的网址、大型导航站网址、人工收录网址、蜘蛛爬取的新网址等。

　　（2）搜索引擎蜘蛛爬到网站。首先会检查网站的根目录下是否有Robots.xt文件，如果有Robots文件，不会按照协议抓取禁止的网页。如果网站被一个搜索引擎整体禁止抓取，那么搜索引擎将不再抓取网站的内容。如果你不小心Robots文件设置错误，可能导致网站Content不能为收录。

　　（3）输入允许爬取的网站，搜索引擎蜘蛛一般采用深度优先、广度优先、最好先爬取三种策略，依次爬取到网站方式 更多内容。

　　深度优先的抓取策略是搜索引擎蜘蛛在网页上找到一个链接，跟随这个链接到下一个网页，然后在这个网页中向下抓取一个链接，直到没有未抓取的链接，然后返回到该网页。沿着另一个链接爬下来。

　　对于深度优先的爬取策略，搜索引擎蜘蛛进入网站的首页，沿着链接爬到A1页面，找到A1中的链接爬到A2页面，然后沿着A2中的链接爬到A3 ，然后依次抓取到A4、A5...直到没有满足抓取条件的网页，搜索引擎蜘蛛才会返回首页。返回首页的蜘蛛以同样的方式继续抓取BI和更深的网页。爬完后回到首页爬取下一个链接，然后爬取所有的页面。

　　今天的广度优先爬取策略是搜索引擎蜘蛛在进入网页后不会沿着链接爬行。爬取完每一层的链接后，就会爬取下一层网页的链接。图2.7 展示了宽度优先的爬取策略。搜索引擎蜘蛛来到网站的首页，在首页找到A、B、C网页的链接并抓取，然后抓取网页A、B、C和下一个网页A1、A依次2、A3、B1、B2、B3... 爬取二级网页后，再爬取三级网页A4、A5、A6...，在抓取所有网页之后。

　　最好的优先爬取策略是按照一定的算法对网页的重要性进行分类，主要通过PageRank、网站规模、响应速度等来判断网页的重要性，搜索引擎优先爬取，爬取越高行列。只有当 PageRank 级别达到一定级别时，才能进行抓取和抓取。实际爬虫在抓取网页时，将页面的所有链接采集到地址库中，进行分析，筛选出PR较高的链接进行抓取。在网站的规模上，畅达网站可以获得更多搜索引擎的信任，而且网站更新频率快，蜘蛛会先爬。网站的响应速度也是影响蜘蛛爬行的重要因素。在最佳优先级爬取策略中，

　　这三种爬取策略各有优缺点。例如，深度优先一般选择合适的深度，避免陷入海量数据中，从而限制了抓取网页的数量；width-first，随着爬取的网页增多，搜索引擎不得不排除大量不相关的网页链接，爬取的效率会越来越低；家之奇会忽略很多小网站网页，影响互联网信息分化的发展，流量几乎进入大网站，小网站发展困难。

　　在搜索引擎蜘蛛的实际爬取中，这三种爬取策略一般是同时使用的。经过一段时间的抓取，搜索引擎蜘蛛可以抓取互联网上的所有网页。但是，由于互联网的巨大资源和搜索引擎的资源有限，他们通常只抓取互联网上的部分网页。

　　4）蜘蛛抓取网页后，会进行测试，判断网页的值是否符合抓取标准。搜索引擎爬取到网页后，会判断网页中的信息是否为垃圾信息，如大量重复文本、乱码的内容，以及收录高度重复的内容。这些垃圾邮件蜘蛛不会爬行，它们只会爬行。

　　5）搜索引擎判断网页的价值后，会对有价值的网页进行收录。这个收录过程就是将抓取到的网页信息存储到信息库中，根据一定的特征对网页信息进行分类，以URL为单位进行存储。搜索引擎的爬行和爬行是提供搜索服务的基本条件。有了大量的网页数据，搜索引擎可以更好地满足用户的查询需求。