网络爬虫程序员被抓，我们还敢爬虫吗？细数这些Java爬虫技术

　　最近，某大数据科技公司由于涉嫌非法抓取某急聘网站用户的简历信息，公司被查封，负责编撰抓取程序的程序员也将面临入狱。

　　事情的大约经过是这样的：

　　某大数据科技公司老总丢给一个小小的程序员一个网站，告诉他把这个网站的数据抓取出来，咱们做一做剖析。这个小小的程序员就吭哧吭哧的写了一段抓取代码，测试了一下网络爬虫技术是什么，程序没问题，可以正常的把这个网站的数据给抓取出来，然后就毫不犹豫的上线了。过了几天，这个小小的程序员发觉抓取的速率有点慢啊，然后他就将1个线程改成10个线程，发布上线，开始抓取，程序跑的没毛病。

　　过了一段时间，网站主的老总发觉近来网站访问量飙升，并且还常常宕机。然后组织公司程序员排查系统问题，经过排查发觉，系统某一个插口频繁访问，遂怀疑有人恶意功击，于是就报警了。警察通过访问来源IP顺藤摸瓜，查到小小程序员所在的公司，把公司全员200人全部扣押调查，这名小小程序员因为负责抓取程序的编撰，将面临入狱。小小程序员一脸懵逼，我只负责老总交给我的任务，我犯哪些法了?

　　看了这个新闻，程序员同学还不快点将你的爬虫程序下线，要不下一个抓的就是你，怕不怕?

　　爬虫技术对于大多数程序员来说一点不陌生，大多数程序员都干过爬虫的事情吧!我记得我刚结业入职的第一家公司我就是负责爬虫的。主要爬取各大院校官网的新闻资讯信息，然后借助这种信息给院校做手机微官网。当然，我们是经过了大多数院校的默认的。

　　今天我们姑且不论爬虫是否违规，这个问题我们也论不清楚。国内现今这么多做大数据剖析公司，他们可以提供各类数据分，他们的数据是从那里来的?有几家是正当来源?恐怕大多都是爬来的。今天我们细数这些java爬虫技术。

　　一、Jsoup

　　的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套特别省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。这也是我最早使用的爬虫技术。

　　二、HtmlUnit

　　HtmlUnit是一款java的无界面浏览器程序库。它可以模拟HTML文档，并提供相应的API，允许您调用页面，填写表单，点击链接等操作。它是一种模拟浏览器以用于测试目的的方式。使用HtmlUnit你就觉得你是在操作浏览器，他对于css和js都可以挺好的支持。

　　三、Selenium

　　Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11)，Mozilla Firefox，Safari，Google Chrome，Opera等。

　　Selenium我感觉是最好的爬虫工具了，因为它完全模拟浏览器。由程序掉起浏览器网络爬虫技术是什么，模拟人的操作。关于Selenium在我的文章[Selenium神器!解放测试程序员的右手]有专门讲解。

　　最后，爬虫有风险，使用需谨慎。希望广大程序员同学在使用爬虫技术的时侯，要有数据隐私的意识。