什么是网络爬虫？网络爬虫有哪些用？

　　在大数据浪潮中，最值钱的就是数据，企业为了获得数据，处理数据，理解数据耗费了巨大代价，使用网络爬虫可以最有效的获取数据。

　　什么是爬虫?

　　网络蜘蛛（Web spider）也叫网络爬虫（Web crawler）什么是网络爬虫，蚂蚁（ant），自动检索工具（automatic indexer），或者（在FOAF软件概念中）网络疾走（WEB scutter），是一种“自动化浏览网路”的程序，或者说是一种网路机器人。它们被广泛用于互联网搜索引擎或其他类似网站，以获取或更新那些网站的内容和检索方法。它们可以手动采集所有其才能访问到的页面内容，以供搜索引擎做进一步处理（分检整理下载的页面），而促使用户能更快的检索到她们须要的信息。

　　最常见的就是互联网搜索引擎，它们借助网路爬虫手动采集所有才能访问到的页面内容，以获取或更新那些网站的内容和检索方法。在网路爬虫的系统框架中，主过程由控制器、解析器、资源库三部份组成。控制器的主要工作是负责给多线程中的各个爬虫线程分配工作任务。解析器的主要工作是

　　下载信息，将信息中对用户没有意义的内容（比如网页代码）处理掉。资源库是拿来储存下载到的数据资源，并对其构建索引。

　　假如你想要每小时抓取一次网易新闻，那么你就要访问网易并做一个数据恳求，得到html格式的网页，然后通过网路爬虫的解析器进行过滤，最后保存入库。

　　爬虫能做哪些？

　　可以创建搜索引擎（Google，百度）

　　可以拿来抢火车票

　　带逛

　　简单来讲只要浏览器能打开的，都可以用爬虫实现

　　网络爬虫的分类？

　　网络爬虫可以分为通用网路爬虫（General Purpose Web Crawler）、聚焦网络爬虫（Focused Web Crawler）、增量式网络爬虫（Incremental Web Crawler）和深层网络爬虫（Deep Web Crawler）。通用网路爬虫又称全网爬虫（Scalable Web Crawler），爬行对象从一些*敏*感*词* URL（网络上每一个文件都有一个地址，即URL） 扩充到整个 Web，主要为门户站点搜索引擎和小型 Web 服务提供商采集数据。 由于商业缘由，它们的技术细节甚少公布下来。

　　聚焦网络爬虫（Focused Crawler），又称主题网路爬虫（Topical Crawler），是只爬行与主题相关网路资源的爬虫。它极大地节约了硬件和网路资源，保存的数据也因为数目少而更新快，还可以挺好地满足一些特定人群对特定领域信息的需求。

　　增量式网络爬虫（Incremental Web Crawler）是指只爬行新形成的或则已然发生变化数据的爬虫，它还能在一定程度上保证所爬行的数据是尽可能新的，并不重新下载没有发生变化的数据，可有效降低数据下载量，及时更新已爬行的数据，减小时间和空间上的花费。

　　深层网络爬虫（Deep Web Crawler）则可以抓取到深层网页的数据。一般网路页面分为表层网页和深层网页。 表层网页是指传统搜索引擎可以索引的页面什么是网络爬虫，而深层页面是只有用户递交一些关键词能够获得的页面，例如这些用户注册后内容才可见的网页就属于深层网页。

　　学习爬虫技术势在必行：在现今竞争的信息化社会中，如何借助数据剖析使自己站在信息不对称的一方，保持竞争优势，是数字工作者的必备技能。不过想飞之前总得先学会慢跑，分析数据之前先首要学会爬数据与处理数据，才有有事半功倍之效。

　　【全文完】