什么是网络爬虫

　　展开全部

　　1、网络爬虫就是为其提供信息来源的程序，网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更时常被称为网页追逐者），是一种根据一定的规则，自动的抓取万维网信息的程序或则脚本，已被广泛应用于互联网领域。

　　2、搜索引擎使用网路爬虫抓取Web网页、文档甚至图片、音频、视频等资源，通过相应的索引技术组织这种信息，提供给搜索用户进行查询。网络爬虫也为中小站点的推广提供了有效的途径。

　　网络爬虫另外e799bee5baa6e58685e5aeb931333365653766一些不常使用的名子还有蚂蚁，自动索引爬虫网络，模拟程序或则蠕虫。随着网路的迅速发展，万维网成为大量信息的载体，如何有效地提取并借助这种信息成为一个巨大的挑战。

　　搜索引擎（Search Engine），例如传统的通用搜索引擎AltaVista，Yahoo！和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和手册。但是，这些通用性搜索引擎也存在着一定的局限性，如：

　　（1） 不同领域、不同背景的用户常常具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。

　　（2）通用搜索引擎的目标是尽可能大的网路覆盖率，有限的搜索引擎服务器资源与无限的网路数据资源之间的矛盾将进一步加深。

　　（3）万维网数据方式的丰富和网路技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现爬虫网络，通用搜索引擎常常对这种信息浓度密集且具有一定结构的数据无能为力，不能挺好地发觉和获取。

　　（4）通用搜索引擎大多提供基于关键字的检索，难以支持按照语义信息提出的查询。