htmlunit抓取动态网页(基于现有的动态网页爬虫系统-DynCrawler系统)

　　htmlunit抓取动态网页(基于现有的动态网页爬虫系统-DynCrawler系统)

　　【摘要】：随着网页数量的爆发式增长，传统的中心化爬虫难以满足实际应用。此外，Ajax 技术在网络应用中的广泛普及，也给传统的Web 开发带来了全新的变化。部分刷新功能提升了用户体验，用户可以很好地与远程服务器进行交互。典型应用包括校园论坛、博客网站等，这些大量动态网页的出现给传统的网络爬虫带来了极大的障碍。在影响爬虫效率的同时，也影响到网页内容的获取。针对以上两个问题，本文基于WebMagic爬虫框架设计了分布式动态网络爬虫系统Dis-Dyn Crawler。系统采用SOA架构的思想，将动态页面解析工具HtmlUnit在动态页面过程中的耗时操作作为独立的服务分离出来；为了提高解析效率，系统将HtmlUnit所需的JavaScript等文件缓存在Redis数据库中。页面渲染时无需每次都从网络下载，减少了网络请求，提高了解析效率；异步页面下载器的实现进一步提高了系统的整体效率。本文从功能和性能两个方面对Dis-Dyn Crawler系统进行了实验分析。通过与现有分布式网络爬虫工具的爬虫能力对比，验证了本文基于Webmagic的动态网络爬虫是高效的。通过与现有动态网页分析工具的对比，验证了本文Dis-Dyn Crawler系统的效率和可行性。