htmlunit抓取动态网页(基于现有的动态网页爬虫系统-DynCrawler系统)

　　htmlunit抓取动态网页(基于现有的动态网页爬虫系统-DynCrawler系统)

　　【摘要】 随着网页数量的爆炸式增长，传统的集中式爬虫难以满足实际应用。此外，Ajax技术在网络应用中的广泛普及，给传统的Web开发带来了新的革命。通过部分刷新功能提升了用户体验，用户可以与远程服务器进行良好的交互。典型应用包括校园论坛、博客网站等。这些大量动态网页的出现给传统的网络爬虫带来了很大的障碍。它影响爬虫的效率，也影响网页内容的获取。针对以上两个问题，本文设计了一种基于WebMagic爬虫框架的分布式动态网络爬虫系统Dis-Dyn Crawler。系统采用SOA架构的思想，将动态网页解析工具HtmlUnit在动态页面过程中的耗时操作分离为一个独立的服务；为了提高解析效率，系统将HtmlUnit所需的JavaScript等文件缓存在Redis数据库中。页面渲染时，不必每次都从网络下载，减少了网络请求，提高了解析效率；异步页面下载器的实现进一步提高了系统的整体效率。本文从功能和性能两个方面对Dis-Dyn Crawler系统进行了实验分析。通过与现有分布式网络爬虫工具的爬取能力对比，验证了本文基于Webmagic的动态网络爬虫是高效的。通过与现有动态网页解析工具的对比，验证了本文提出的Dis-Dyn爬虫系统的效率和可行性。