网站采集工具(随着Ajax技术的兴起和web2.0时代的智能采集器将是大势所趋)

　　网站采集工具(随着Ajax技术的兴起和web2.0时代的智能采集器将是大势所趋)

　　摘要：随着Ajax技术的兴起和web2.0时代的到来，传统的采集器只能采集静态网页已经无法满足人们获取数据，但拥有Ajax网页数据采集智能能力采集器将是趋势。

　　随着Ajax技术的兴起，网站应用开发已经从传统的静态页面发展到以丰富的浏览器体验和社交网络中海量数据处理为特征的web时代网站，网站使用本地刷新技术，避免每次都从服务器获取整个页面内容，从而降低服务器负载，节省网络带宽，提升用户体验。典型的应用程序包括 GoogleMail 和 GoogleMaps。随着Ajax类型网站的增多，以及更*敏*感*词*的信息倾向于使用deep网站，迫切需要一种能够有效处理Ajax动态脚本网页的方法。但是现有的大部分网站采集器都不能有效地采集支持Ajax技术的深层网站数据，

　　传统网页采集器多为HTTP驱动，无法有效处理Ajax动态脚本网页。他们只能采集表面网（surface web）和静态网页。对于深度 网站（深网）Ajax 网页页面数据的 采集 无能为力。目前国内采集网站的采集器大部分是传统的采集器，软件技术原理比较落后，不胜任web2.0动态网站采集任务，即将被淘汰。

　　以优采云采集器为代表的新一代智能网页数据采集器是事件驱动的，模拟用户操作触发相应事件，使用DOM结构标记页面状态。使用嵌入式浏览器作为Ajax运行容器，通过HTML渲染器提供的API与页面DOM树交互，获取完整的数据内容，优采云采集器使用可视化工作流和面向领域的手册配置控制页面状态转换，真正实现Ajax网页数据的自动采集。