网页抓取数据百度百科(百度蜘蛛是怎么实现网页关键词索引当蜘蛛工作过程)

　　网页抓取数据百度百科(百度蜘蛛是怎么实现网页关键词索引当蜘蛛工作过程)

　　搜索引擎的工作过程非常复杂。今天跟大家分享一下我是怎么知道百度蜘蛛是如何实现网页的收录的。

　　搜索引擎的工作大致可以分为四个过程。

　　1、 蜘蛛爬行爬行。

　　2、 信息过滤。

　　3、创建网页关键词索引。

　　4、用户搜索输出结果。

　　蜘蛛爬行

　　当百度蜘蛛来到一个页面时，它会跟随页面上的链接，从这个页面爬到下一个页面，就像一个递归的过程，这样它就不会停止一年四季的劳累。比如蜘蛛来到我博客的首页，它会先读取根目录下的robots.txt文件。如果不禁止搜索引擎抓取，蜘蛛就会开始对网页上的链接进行跟踪和抓取。比如我置顶文章“seo 概览|什么是seo，seo是做什么的？”，引擎会到文章所在的这个网页多进程抓取信息，所以跟着路径走。，没有尽头。

　　信息过滤

　　为了避免重复抓取和抓取网址，搜索引擎会记录已抓取和未抓取的地址。如果你有新的网站，可以到百度官网提交网站的网址，引擎会记录下来归类到一个没有被爬过的网址，然后蜘蛛会根据这张表从数据库中提取出网址，访问并抓取页面。

　　蜘蛛不会收录所有页面，它必须经过严格的检查。蜘蛛在抓取网页内容时，会进行一定程度的复制内容检测。如果网页网站的权重很低，而且大部分文章都是抄袭的，那么蜘蛛你可能不会再喜欢你的网站了。如果你不继续爬行，你就不会收录你的网站。

　　创建网页关键词索引

　　蜘蛛抓取页面后，首先分析页面的文本内容。通过分词技术，将网页内容简化为关键词，将关键词和对应的URL做成表格建立索引。

　　索引中有正向索引和反向索引。正向索引为网页内容对应的关键词，反向为关键词对应的网页信息。

　　输出结果

　　当用户搜索某个关键词时，会通过上面建立的索引表进行关键词匹配，通过反向索引表找到关键词对应的页面，并对页面进行综合评分通过引擎计算后，根据网页的分数确定网页的排名顺序。