网页抓取数据百度百科(搜索引擎结构划分的基本上分为原理概述及处理方法介绍)

　　网页抓取数据百度百科(搜索引擎结构划分的基本上分为原理概述及处理方法介绍)

　　搜索引擎原理概述

　　搜索引擎通常是指全文搜索引擎，它采集互联网上数千万到数十亿的网页，并对网页中的每个单词（即关键词）进行索引，建立索引数据库。当用户搜索某个关键词时，所有页面内容中收录关键词的网页都会作为搜索结果被找到。经过复杂算法排序后，这些结果将按照与搜索关键词的相关性排序。

　　搜索引擎的结构基本上分为四个步骤： 1.爬取和爬取 搜索引擎发出一个程序，可以在互联网上发现新的网页和爬取文件。这个程序通常被称为蜘蛛。搜索引擎从一个已知的数据库开始，像普通用户的浏览器一样访问这些网页并抓取文件。搜索引擎跟随网页中的链接并访问更多网页，这个过程称为爬取。这些新的 URL 将存储在数据库中以供抓取。因此，跟踪网页链接是搜索引擎蜘蛛发现新网址的最基本方法，因此反向链接已成为搜索引擎优化的最基本要素之一。搜索引擎抓取的页面文件与用户浏览器获取的页面文件完全相同，并将捕获的文件存储在数据库中。2.索引蜘蛛爬取的页面文件被分解、分析，以巨表的形式存储在数据库中。这个过程既是一个索引。位置、字体、颜色、粗体、斜体和其他相关信息会相应记录。3.搜索词处理用户在搜索引擎界面输入关键词，点击“搜索”按钮后，搜索引擎程序会对搜索词进行处理，如中文专用分词，去掉停用词，并判断是否需要启动综合搜索，判断是否有拼写错误或拼写错误等。搜索词的处理必须非常快。4.搜索词排序处理后，搜索引擎程序开始工作，

　　即使是最好的搜索引擎也无法与人相提并论，这就是网站搜索引擎优化的原因。如果没有 SEO 的帮助，搜索引擎往往无法正确返回最相关、最权威、最有用的信息。搜索引擎数据结构 搜索引擎的核心数据结构是倒排文件（也称为倒排索引）。倒排索引是指通过使用记录的非主属性值（也称为辅助键）来组织文件来查找记录。文件，二级索引。倒排文件收录了所有的副键值，并列出了与其相关的记录的所有主键值，主要用于复杂的查询。不同于传统的SQL查询，在搜索引擎采集到的数据的预处理阶段，搜索引擎通常需要一个高效的数据结构来提供*敏*感*词*内相互连接的网站。一旦找到新的网站，它会自动提取网站的信息和URL，添加到自己的数据库中。另一种是提交网站的搜索，即网站的拥有者主动向搜索引擎提交URL，在一定的时间内（2天到几个月）会被指挥发送一个“蜘蛛”程序到你的网站，扫描你的网站并将相关信息存入数据库供用户查询。它会自动将网站的信息和URL添加到自己的数据库中。另一种是提交网站的搜索，即网站的拥有者主动向搜索引擎提交URL，在一定的时间内（2天到几个月）会被指挥发送一个“蜘蛛”程序到你的网站，扫描你的网站并将相关信息存入数据库供用户查询。它会自动将网站的信息和URL添加到自己的数据库中。另一种是提交网站的搜索，即网站的拥有者主动向搜索引擎提交URL，在一定的时间内（2天到几个月）会被指挥发送一个“蜘蛛”程序到你的网站，扫描你的网站并将相关信息存入数据库供用户查询。

　　由于近几年搜索引擎索引规则变化很大，主动提交网址并不能保证你的网站可以进入搜索引擎数据库，所以目前最好的办法是获取更多的外部链接，让搜索引擎有更多机会找到您并自动转移您的网站收录。当用户使用 关键词 搜索信息时，搜索引擎将在数据库中进行搜索。如果它找到一个匹配用户请求的网站，它会使用一种特殊的算法——通常根据关键词匹配度、出现位置/频率、链接质量等——计算相关性和排名每个网页的链接，然后根据相关性将这些网页链接返回给用户。搜索引擎目录索引与全文搜索引擎相比，目录索引在许多方面有所不同。首先，搜索引擎是自动的网站检索，而目录索引完全是手动的。用户提交网站后，目录编辑会亲自浏览你的网站，然后根据一套自定义的标准甚至是用户的主观印象决定是否接受你的网站编辑。其次，当搜索引擎收录网站时，只要网站本身不违反相关规则，一般都可以登录成功。目录索引对网站的要求要高得多，有时甚至多次登录也不一定成功。此外，登录搜索引擎时，我们一般不需要考虑网站的分类，登录到目录索引时，一定要把网站放在最合适的目录中。最后，搜索引擎中每个网站的相关信息都是自动从用户的网页中提取出来的，所以从用户的角度来看，我们有更多的自主权；而目录索引要求你必须手动填写网站信息，并且有各种各样的限制。

　　更何况，如果工作人员认为你提交的目录和网站信息不合适，他可以随时调整，当然不会提前和你商量。目录索引，顾名思义，就是将网站按类别存储在对应的目录中，用户可以选择关键词进行信息搜索，也可以根据分类目录逐层搜索。如果用关键词搜索，返回的结果和搜索引擎一样，也是按照信息相关程度网站排名，但人为因素较多。如果按分层目录搜索，网站在目录中的排名由标题的字母顺序决定（有例外）。现在，搜索引擎与目录索引之间存在融合和渗透的趋势。原来一些纯全文搜索引擎现在也提供目录搜索。