采集网站内容(基于网络爬虫的网站信息采集技术整合方案的设计与实现)

　　采集网站内容(基于网络爬虫的网站信息采集技术整合方案的设计与实现)

　　[摘要] 随着互联网的飞速发展，它已逐渐融入人们日常生活的方方面面。其中，Web是人们在互联网上相互交流和获取*敏*感*词*绕这一目标，本文提出了基于网络爬虫的网站信息采集技术集成方案的设计与实现。本文提出的网站信息采集技术集成方案包括三个部分：信息采集、信息抽取和信息检索。资料采集 基于Heritrix爬虫的扩展（结合HtmlUnit），负责完成目标站点的网页采集；信息抽取基于Jsoup和DOM技术，负责完成从网页中抽取文章信息存储在数据库中，将非结构化信息转化为结构化信息；信息检索基于Lucene索引工具和SSH2架构实现，负责呈现文章信息的采集，方便用户浏览。并负责完成从网页中提取文章信息存储到数据库中，将非结构化信息转化为结构化信息；信息检索基于Lucene索引工具和SSH2架构实现，负责呈现文章信息的采集，方便用户浏览。并负责完成从网页中提取文章信息存储到数据库中，将非结构化信息转化为结构化信息；信息检索基于Lucene索引工具和SSH2架构实现，负责呈现文章信息的采集，方便用户浏览。