谷歌抓取网页视频教程( 搜索引擎正向索引6.倒排索引7.链接关系计算(组图))

　　谷歌抓取网页视频教程(

搜索引擎正向索引6.倒排索引7.链接关系计算(组图))

　　百度、谷歌等大型网站收录网页提交入口地址及工作原理

　　搜索引擎

　　搜索引擎是指按照一定的策略从互联网上采集信息，并使用特定的计算机程序，对信息进行组织和处理，为用户提供检索服务，并向用户展示与用户检索相关的相关信息的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合搜索引擎、门户搜索引擎和免费链接列表等。百度和谷歌是搜索引擎的代表。

　　工作准则

　　步骤：爬行

　　搜索引擎通过特定模式的软件跟踪到网页的链接，从一个链接爬到另一个链接，就像蜘蛛在蜘蛛网上爬行一样，因此被称为“蜘蛛”或“机器人”。搜索引擎蜘蛛的爬行是有一定的规则进入的，需要遵循一些命令或者文件的内容。

　　第 2 步：获取存储空间

　　搜索引擎通过蜘蛛跟踪链接抓取网页，并将抓取到的数据存储在原创页面数据库中。页面数据与用户浏览器获取的 HTML 完全相同。在抓取页面时，搜索引擎蜘蛛也会做一定量的重复内容检测。一旦遇到大量抄袭、采集或网站上权重极低的复制内容，他们很可能会停止爬行。

　　第三步：预处理

　　搜索引擎将在各个步骤中对蜘蛛检索到的页面进行预处理。

　　⒈提取文本

　　⒉中文分词

　　⒊ 停词

　　⒋ 消除噪音（搜索引擎需要识别并消除这些噪音，如版权声明文字、导航栏、广告等）

　　5.远期指数

　　6.倒排索引

　　7. 链接关系计算

　　8.特殊文件处理

　　除了 HTML 文件，搜索引擎通常可以抓取和索引多种基于文本的文件类型，例如 PDF、Word、WPS、XLS、PPT、TXT 文件等，我们在搜索结果中也经常看到这些文件类型。但是，搜索引擎无法处理图像、视频和 Flash 等非文本内容，也无法执行脚本和程序。

　　第 4 步：排名

　　用户在搜索框中输入关键词后，排名程序调用索引库数据，计算排名显示给用户，排名过程直接与用户交互。但是由于搜索引擎的数据量巨大，虽然可以做到每天小幅更新，但一般来说，搜索引擎的排名规则是按照每天、每周、每月不同级别的更新。

　　卖湾商城更多商品介绍：乐视视频广告投放价格微信商城微博购买粉丝