网页数据抓取软件(什么是HTML？框架是什么意思？HTML文档总结)

　　网页数据抓取软件(什么是HTML？框架是什么意思？HTML文档总结)

　　总结：

　　1、通过指定的URL抓取网页数据，获取页面信息，然后对带有DOM的页面进行NODE分析，处理原创的HTML数据。这样做的好处是处理某条数据的灵活性很高。 , 难点在于节算法需要优化。当页面的HTML信息较大时，算法不好，会影响处理效率。

　　2、htmlparser框架，对于HTML页面处理的数据结构，HtmlParser采用经典的Composite模式，通过RemarkNode、TextNode、TagNode、AbstractNode和Tag来描述HTML页面的各个元素。 htmlparser基本可以满足垂直搜索引擎页面处理分析的需求，映射HTML标签，轻松获取标签中的HTML CODE。

　　Htmlparser官方介绍：htmlparser是一个纯java编写的html解析库。不依赖其他java库文件，主要用于转换或提取html。它解析 html 的速度非常快而且没有错误。 htmlparser 的最新版本现在是 2.0。毫不夸张地说，htmlparser是目前最好的html解析分析工具。

　　3、nekohtml框架，nekohtml在容错性、性能等方面比htmlparser有更好的口碑（包括htmlunit也使用nekohtml），nokehtml类似于xml解析的原理，html标签是解析为dom，是的，对应DOM树中对应的元素进行处理。

　　NekoHTML 官方介绍：NekoHTML 是Java 语言的HTML 扫描器和标签平衡器，它使程序能够解析HTML 文档并使用标准的XML 接口来访问其中的信息。此解析器能够扫描 HTML 文档并“修复”作者（人或机器）在编写 HTML 文档时所犯的许多常见错误。

　　NekoHTML 可以补充缺失的父元素，自动用结束标签关闭对应的元素，以及不匹配的内联元素标签。 NekoHTML 是使用 Xerces 本地接口 (XNI) 开发的，它是 Xerces2 实现的基础。