java爬虫抓取网页数据( 某涉嫌非法抓取某招聘网站用户简历信息)

　　java爬虫抓取网页数据(

某涉嫌非法抓取某招聘网站用户简历信息)

　　近日，某公司涉嫌非法抓取用户网站简历信息被查封，负责编写抓取程序的程序员也将面临牢狱之灾。

　　事情的大致过程是这样的：

　　某老板丢了一个网站给一个小程序员，让他把这个网站的数据拿过来，我们来分析一下。这个小程序员写了一段抓取代码并测试了它。程序没有问题。你可以正常抓取网站数据，然后毫不犹豫地上线。几天后，这个小程序员发现爬行速度有点慢，于是把1个线程改成10个线程，在线发布，开始爬行，程序运行没有问题。

　　过了一段时间，网站主的老板发现网站的访问量激增，停机频繁。然后组织了公司的程序员去调查系统问题。经排查，发现系统某界面访问频繁，涉嫌恶意攻击，故报案。*敏*感*词*通过访问源IP，找到了小程序员所在的公司，并拘留了该公司的200名员工进行调查。小程序员将面临牢狱之灾，因为他负责编译捕获程序。小程序员一脸懵逼，我只负责老板给我的任务，我犯了什么法？

　　看到这条新闻的程序员朋友们不要急着下线你的爬虫程序，不然你会被抓到的。你害怕吗？

　　爬虫技术对大多数程序员来说并不陌生。大多数程序员都做过爬虫！我记得我在刚毕业加入的第一家公司负责爬虫。它主要抓取各大高校官网的新闻信息，然后利用这些信息为高校制作手机微官网。当然，我们已经通过了大多数大学的默认。

　　今天，我们不在乎爬虫是否违法，我们不知道这个问题。中国有很多大数据分析公司。他们可以提供各种数据点。他们的数据来自哪里？有多少是合法来源？恐怕他们中的大多数都在爬行。今天我们数一下那些java爬虫技术。

　　一、Jsoup

　　的 HTML 解析器可以直接解析一个 URL 地址和 HTML 文本内容。它提供了一个非常省力的API，可以通过DOM、CSS和类似jQuery的操作方法来检索和操作数据。这也是我最早使用的爬虫技术。

　　二、HtmlUnit

　　HtmlUnit 是一个 Java 无界面浏览器库。它可以模拟 HTML 文档并提供相应的 API，允许您调用页面、填写表单、单击链接等操作。它是一种模拟浏览器以进行测试的方法。使用HtmlUnit，感觉就像是在操作一个浏览器，对css和js的支持都非常好。

　　三、Selenium

　　Selenium 是一种用于 Web 应用程序测试的工具。 Selenium 测试直接在浏览器中运行，就像真正的用户在操作一样。支持的浏览器包括 IE（7、8、9、10、11)、Mozilla Firefox、Safari、Google Chrome、Opera 等）。

　　Selenium 我认为是最好的爬虫工具，因为它完全模拟了浏览器。从程序中删除浏览器以模拟人工操作。我的文章[硒工具！解放测试程序员的双手]。

　　最后，爬虫是有风险的，所以要小心。希望广大程序员在使用爬虫技术时注意数据隐私。