网页数据抓取软件( 爬虫是什么网络爬虫（又被称为网页蜘蛛、网络机器人） )

　　网页数据抓取软件(

爬虫是什么网络爬虫（又被称为网页蜘蛛、网络机器人）

)

　　

　　01 什么是爬行动物

　　网络爬虫（也称为网络蜘蛛、网络机器人，在 FOAF 社区中更常见的是网页追逐者）是根据一定规则自动从万维网上爬取信息的程序或脚本。其他不太常用的名称是 ant、autoindex、emulator 或 worm。

　　Web 爬虫通过从 Internet 上的 网站 服务器上爬取内容来工作。它是用计算机语言编写的程序或脚本，自动从互联网上获取信息或数据，扫描并抓取每个需要的页面上的某些信息，直到处理完所有可以正常打开的页面。

　　作为搜索引擎的重要组成部分，爬虫的主要功能是抓取网页数据（如图2-1所示）。目前市面上流行的采集器软件都是利用网络爬虫的原理或功能。

　　

　　▲图 2-1 网络爬虫象形图

　　02 爬行动物的意义

　　如今，大数据时代已经到来，网络爬虫技术已经成为这个时代不可或缺的一部分。企业需要数据来分析用户行为、自身产品的不足、竞争对手的信息。所有这一切的首要条件是数据。采集。

　　网络爬虫的价值其实就是数据的价值。在互联网社会，数据是无价的。一切都是数据。谁拥有大量有用的数据，谁就有决策的主动权。网络爬虫的应用领域很多，比如搜索引擎、数据采集、广告过滤、大数据分析等。

　　1）抓取各大电商公司的产品销售信息和用户评价网站进行分析，如图2-2所示。

　　

　　▲图2-2 电商产品销售信息网站

　　2）分析大众点评、美团等餐饮品类网站用户的消费、评价及发展趋势，如图2-3所示。

　　

　　▲图2-3 餐饮用户消费信息网站

　　3）分析各城市中学区住房占比，学区房价格比普通二手房高多少，如图2-4所示。

　　

　　▲图2-4 学区住房比例与价格对比

　　以上数据是由ForeSpider数据采集软件爬下来的。有兴趣的读者可以尝试自己爬一些数据。

　　03 爬虫的原理

　　我们通常将网络爬虫的组件分为初始链接库、网络爬取模块、网页处理模块、网页分析模块、DNS模块、待爬取链接队列、网页库等。网络爬虫的各个模块可以组成一个循环系统，从而不断的分析和抓取。

　　爬虫的工作原理可以简单地解释为首先找到目标信息网络，然后是页面爬取模块，然后是页面分析模块，最后是数据存储模块。具体细节如图2-5所示。

　　

　　▲图2-5 爬虫*敏*感*词*

　　爬虫工作的基本流程：

　　首先选择互联网中的一部分网页，将这些网页的链接地址作为*敏*感*词*URL；将这些*敏*感*词*URL放入待爬取URL队列，爬虫依次读取待爬取URL队列；通过 DNS 解析 URL；将链接地址转换为网站服务器对应的IP地址；网页下载器通过网站服务器下载网页；下载的网页是网页文档的形式；提取网页文档中的URL；Filter 删除已经爬取过的网址；继续对没有被爬取的URL进行爬取，直到待爬取的URL队列为空。04 爬虫技术的种类

　　专注网络爬虫是一种“面向特定主题需求”的爬虫程序，而通用网络爬虫是搜索引擎爬虫系统（百度、谷歌、雅虎等）的重要组成部分，主要目的是在网站上下载网页互联网到本地，形成互联网内容的镜像备份。

　　增量爬取是指对某个站点的数据进行爬取。当网站的新数据或站点数据发生变化时，会自动捕获新增或变化的数据。

　　网页按存在方式可分为表层网页（surface Web）和深层网页（deep Web，又称隐形网页或隐藏网页）。

　　更详细的爬虫技术类型解释请点击4类爬虫技术解释。

　　作者简介：赵国胜，哈尔滨师范大学教授，工学博士，硕士生导师，黑龙江省网络安全技术领域特殊人才。主要从事可信网络、入侵容忍、认知计算、物联网安全等领域的教学和科研工作。

　　本文摘自《Python网络爬虫技术与实践》，经出版社授权发布。