网络爬虫 | Java 实现 AI人工智能技术 - 网络爬虫功能

　　网络爬虫 | Java 实现 AI人工智能技术 - 网络爬虫功能

　　

　　码神联盟工作10多年的架构师和你一起聊技术

　　

　　现状：

　　目前网络上充斥着越来越多的网页数据，包含海量的数据，但是很多时候，不管是出于对产品需求还是数据分析的需要，我们需要从这些网站上搜索一些相关的、有价值的数据，进行分析并提炼出符合产品和数据的内容。

　　互联网早期，公司内部都设有很多的‘网站编辑’岗位，负责内容的整理和发布，纵然是高级动物人类，也只有两只手，无法通过复制、粘贴手工去维护，所以我们需要一种可以自动的进入网页提炼内容的程序技术，这就是‘爬虫’，网络爬虫工程师又被亲切的称之为‘虫师’。

　　网络爬虫概述

　　网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

　　从功能上来讲，爬虫一般分为三个阶段：

　　数据采集 （网络请求模块）

　　处理 （爬取流程控制模块）

　　储存 （内容分析提取模块）

　　传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。

　　聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。

　　另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

　　网络爬虫原理

　　网络爬虫原理：

　　Web网络爬虫系统的功能是下载网页数据，为搜索引擎系统提供数据来源。很多大型的网络搜索引擎系统都被称为基于 Web数据采集的搜索引擎系统，比如 Google、Baidu。由此可见Web 网络爬虫系统在搜索引擎中的重要性。网页中除了包含供用户阅读的文字信息外，还包含一些超链接信息。Web网络爬虫系统正是通过网页中的超连接信息不断获得网络上的其它网页。正是因为这种采集过程像一个爬虫或者蜘蛛在网络上漫游，所以它才被称为网络爬虫系统或者网络蜘蛛系统，在英文中称为Spider或者Crawler。

　　

　　网络爬虫工作原理：

　　在网络爬虫的系统框架中，主过程由控制器，解析器，资源库三部分组成。

　　控制器：

　　控制器是网络爬虫的中央控制器，它主要是负责根据系统传过来的URL链接，分配一线程，然后启动线程调用爬虫爬取网页的过程。

　　解析器：

　　解析器是负责网络爬虫的主要部分，其负责的工作主要有：下载网页的功能，对网页的文本进行处理，如过滤功能，抽取特殊HTML标签的功能，分析数据功能。

　　资源库：

　　主要是用来存储网页中下载下来的数据记录的容器，并提供生成索引的目标源。中大型的数据库产品有：Oracle、Sql Server等。

　　网络爬虫的基本工作流程如下：

　　1.首先选取一部分精心挑选的*敏*感*词*URL；

　　2.将这些URL放入待抓取URL队列；

　　3.从待抓取URL队列中取出待抓取在URL，解析DNS，并且得到主机的ip，并将URL对应的网页下载下来，存储进已下载网页库中。此外，将这些URL放进已抓取URL队列；

　　4.分析已抓取URL队列中的URL，分析其中的其他URL，并且将URL放入待抓取URL队列，从而进入下一个循环。

　　爬虫后台面临的问题

　　1：交互问题

　　有些网页往往需要和用户进行一些交互，进而才能走到下一步，比如输入一个验证码，拖动一个滑块，选几个汉字。网站之所以这么做，很多时候都是为了验证访问者到底是人还是机器。而爬虫程序遇到这种情况很难处理，传统的简单图片验证码可以通过图形处理算法读出内容，但是随着各种各样，花样百出的验证码越来越多（优采云票验证码），这个问题就越来越严重。

　　2：JavaScript解析问题

　　JavaScript可以动态生成DOM。目前大多数网页属于动态网页（内容由JavaScript动态填充），尤其是在移动端，SPA/PWA应用越来越流行，网页中大多数有用的数据都是通过ajax/fetch动态获取后然后再由js填充到网页dom树中，单纯的html静态页面中有用的数据很少。目前主要应对的方案就是对于js ajax/fetch请求直接请求ajax/fetch的url ，但是还有一些ajax的请求参数会依赖一段JavaScript动态生成，比如一个请求签名，再比如用户登陆时对密码的加密等等，如果一昧的去用后台脚本去干JavaScript本来做的事，这就要清楚的理解原网页代码逻辑，而这不仅非常麻烦，而且会使你的爬取代码异常庞大臃肿，但是，更致命的是，有些JavaScript可以做的事爬虫程序是很难甚至是不能模仿的，比如有些网站使用拖动滑块到某个位置的验证码机制，这就很难再爬虫中去模仿。

　　其实，总结一些，这些弊端归根结底，是因为爬虫程序并非是浏览器，没有JavaScript解析引擎所致。针对这个问题，目前主要的应对策略就是在爬虫中引入JavaScript引擎，如PhantomJS，但是又有着明显的弊端，如服务器同时有多个爬取任务时，资源占用太大。还有就是，这些无窗口的JavaScript引擎很多时候使用起来并不能像在浏览器环境中一样，页面内部发生跳转时，会导致流程很难控制。

　　3：IP限制问题

　　这是目前对后台爬虫中最致命的。网站的防火墙会对某个固定ip在某段时间内请求的次数做限制，如果没有超过上线则正常返回数据，超过了，则拒绝请求，如邮箱。值得说明的是，ip限制有时并非是专门为了针对爬虫的，而大多数时候是出于网站安全原因针对DOS攻击的防御措施。后台爬取时机器和ip有限，很容易达到上线而导致请求被拒绝。目前主要的应对方案是使用代理，这样一来ip的数量就会多一些，但代理ip依然有限，对于这个问题，根本不可能彻底解决。

　　JAVA网络爬虫入门示例

　　需求：java技术爬取各大网站的超链接数据

　　技术：Java、jdk1.8、maven、HttpClient、HttpCore

　　1：新建maven project工程，如图