java从网页抓取数据(用到抓取网页数据的功能：抓取数据功能详解)

　　java从网页抓取数据(用到抓取网页数据的功能：抓取数据功能详解)

　　经常用到爬取网页数据的功能。我在以前的工作中使用过它。今天我总结一下：

　　1、通过指定的URL抓取网页数据，获取页面信息，然后对带有DOM的页面进行NODE分析，处理原创的HTML数据。这样做的好处是处理某条数据的灵活性很高。 , 难点在于节算法需要优化。当页面的HTML信息较大时，算法不好，会影响处理效率。

　　2、htmlparser框架，对于HTML页面处理的数据结构，HtmlParser采用经典的Composite模式，通过RemarkNode、TextNode、TagNode、AbstractNode和Tag来描述HTML页面的各个元素。 Htmlparser基本可以满足垂直搜索引擎页面处理分析的需求，映射HTML标签，轻松获取标签中的HTMLCODE。

　　Htmlparser官方介绍：htmlparser是一个纯java编写的html解析库。它不依赖于其他java库文件，主要用于转换或提取html。它解析 html 的速度非常快而且没有错误。 htmlparser 的最新版本现在是 2.0。毫不夸张地说，htmlparser是目前最好的html解析分析工具。

　　3、nekohtml框架，nekohtml在容错和性能方面比htmlparser有更好的口碑（包括htmlunit也使用nekohtml），nokehtml类似于xml解析的原理，将html标签解析为dom，是的，它们对应于DOM树中的相应元素进行处理。

　　NekoHTML 官方介绍：NekoHTML 是Java 语言的HTML 扫描器和标签平衡器，它使程序能够解析HTML 文档并使用标准的XML 接口来访问其中的信息。此解析器能够扫描 HTML 文档并“修复”作者（人或机器）在编写 HTML 文档时所犯的许多常见错误。

　　NekoHTML 可以补充缺失的父元素，自动用结束标签关闭对应的元素，不匹配内联元素标签。 NekoHTML 是使用 XercesNativeInterface (XNI) 开发的，它是 Xerces2 实现的基础。