搜索引擎主题模型优化(基于Web信息抽取的本文技术优化策略研究)

　　搜索引擎主题模型优化(基于Web信息抽取的本文技术优化策略研究)

　　[摘要]：随着互联网技术的飞速发展，在线信息呈指数级增长。由于网络信息载体的异质性和可变性，如何对海量信息进行检索和处理成为当前重要的研究课题。网页信息抽取是指从半结构化网页中抽取指定信息，并将结构化数据形成数据库供用户查询和使用的过程。 Web信息抽取是提高信息检索性能的重要手段之一，尤其是在垂直领域。本文研究了垂直搜索引擎中的Web信息提取技术。本文首先总结了Web信息抽取的主要技术，从Web信息抽取系统的构成入手，分析了模板检测、模板生成和数据抽取三个主要过程中涉及的关键问题和传统解决方案。针对传统信息抽取技术在垂直搜索引擎应用背景下的局限性，提出了相应的改进方法。对于模板检测，本文在传统DOM树编辑距离算法的基础上，根据节点对布局的影响程度赋予不同的权重，提出了一种新的网页结构相似度计算算法。实验结果分析表明，新算法对动态模板网页的聚类效果比传统算法有显着提升。针对模板生成和数据提取，本文提出了一种基于聚类的模板混合生成算法，将网页聚类过程中样本网页的结构相似性比较和模板生成中样本网页与模板的结构相似性比较结合起来。过程。改进了模板的生成方式。对于数据提取，本文在定义网页对象概念的基础上，研究了对象提取过程中网页与网页提取模板的匹配问题，提出了一种基于结构树调整的模板匹配算法。实验结果表明，新的模板生成和数据提取算法在保证一定召回率的同时，能够达到令人满意的提取精度，同时减少计算时间和人力成本，使其更符合商业搜索引擎的应用需求。最后，本文讨论了商业搜索引擎的技术优化策略，主要包括基于URL模式分析和网页信息质量分析的网页采集路径优化和提取模板匹配优化。此外，本文还研究了商业垂直搜索引擎应用背景下Web信息抽取系统的系统设计与实现。采用基于.Net平台的Silverlight技术，将所提出的算法和设计成功应用于自主研发的垂直搜索引擎系统——GeeSeek的实际应用表明，该系统能够有效提升用户的搜索体验。网络信息提取的发展非常迅速。目前，网络信息抽取研究的信息来源基本上是已经构建好的网页，而互联网上的大部分数据仍然以数据库的形式存在于各种分布式服务器上。如何提取这些信息？这将是我们接下来需要研究的工作。