网页抓取数据百度百科(网页获取和解析速度，性能较好的应用场景)

　　网页抓取数据百度百科(网页获取和解析速度，性能较好的应用场景)

　　HttpClient 是 Apache Jakarta Common 下的一个子项目，可以用来提供一个高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，它支持 HTTP 协议的最新版本和推荐. ----抓取的信息串的格式是正则匹配

　　Java爬虫开发是应用最广泛的网页获取技术。它具有一流的速度和性能。它在功能支持方面相对较低。不支持JS脚本执行、CSS解析、渲染等准浏览器功能。推荐用于快速访问网页。无需解析脚本和 CSS 的场景。

　　2：汤

　　jsoup 是一个 Java HTML 解析器，可以直接解析一个 URL 地址和 HTML 文本内容。它提供了一个非常省力的 API，用于通过 DOM、CSS 和类似 jQuery 的操作方法获取和操作数据。-----添加jar包。获取相关信息的属性

　　网页获取解析速度快，推荐。

　　3：html单元

　　htmlunit 是一个开源的java页面分析工具。阅读完页面后，可以有效地使用htmlunit分析页面上的内容。该项目可以模拟浏览器的操作，称为java浏览器的开源实现。这个没有界面的浏览器运行速度非常快。使用 Rhinojs 引擎。模拟js运行。

　　网页获取和解析速度快，性能更好。推荐用于需要解析网页脚本的应用场景。

　　4：瓦蒂

　　Watij（发音为 wattage）是一个用 Java 开发的 Web 应用程序测试工具。鉴于 Watij 的简单性和 Java 语言的强大功能，Watij 使您能够在真实浏览器中自动测试 Web 应用程序。因为调用本地浏览器，所以支持CSS渲染和JS执行。

　　网页访问速度一般，IE版本太低（6/7）可能导致内存泄漏）

　　硒

　　Selenium 也是一个用于 Web 应用程序测试的工具。Selenium 测试直接在浏览器中运行，就像真正的用户一样。支持的浏览器包括 IE、Mozilla Firefox、MozillaSuite 等。该工具的主要功能包括： 测试与浏览器的兼容性——测试您的应用程序是否在不同的浏览器和操作系统上运行良好。测试系统功能 - 创建回归测试以验证软件功能和用户需求。支持动作的自动记录和自动生成。Net、Java、Perl 和其他不同语言的测试脚本。Selenium 是 ThoughtWorks 专门为 Web 应用程序编写的验收测试工具。

　　网页抓取速度慢，对于爬虫来说不是一个好的选择。

　　5：网络规范

　　具有支持脚本执行和 CSS 呈现的界面的开源 Java 浏览器。平均速度