第一节-抓取建库Spider系统的工作原理关于百度

　　第一节-抓取建库Spider系统的工作原理关于百度

　　百度搜索引擎的工作原理

　　至于百度等搜索引擎的工作原理，大家已经讨论了很多，但是随着技术的进步和互联网行业的发展，各种搜索引擎都发生了巨大的变化，而且这些变化都是迅速的本章的目的，除了从官方的角度发出一些声音，纠正一些之前的误解，也希望通过内容的不断更新，跟上百度搜索引擎的发展，为大家带来最新的以及相关的百度高信息。

　　第一节爬取和建立数据库

　　Spider爬虫系统基本框架

　　互联网信息爆炸式增长，如何有效地获取和使用这些信息是搜索引擎工作的首要环节。数据采集​​系统作为整个搜索系统的上游，主要负责互联网信息的采集、保存和更新。它像蜘蛛一样在网络中爬行，所以通常被称为“蜘蛛”。比如我们常用的几种常见的搜索引擎蜘蛛，叫做Baiduspdier、Googlebot、搜狗网蜘蛛等等。但不管我们怎么称呼它，这个蜘蛛只是一个算法极其复杂的程序。

　　蜘蛛抓取系统是搜索引擎数据来源的重要保障。如果把网理解为一个有向图，那么蜘蛛的工作过程可以看作是对这个有向图的一次遍历。从一些重要的*敏*感*词*网址开始，通过页面上的超链接，不断地发现和抓取新的网址，尽可能多的抓取有价值的网页。对于像百度这样的大型蜘蛛系统，由于网页随时都有可能被修改、删除或出现新的超链接，因此需要更新以前蜘蛛爬过的页面，并维护一个URL库和页面库。

　　下图是蜘蛛抓取系统的基本框架，包括链接存储系统、链接选择系统、dns解析服务系统、抓取调度系统、网页分析系统、链接提取系统、链接分析系统、网页存储系统。百度蜘蛛通过本系统的配合完成了对网页的抓取。