搜索引擎优化毕业论文(:1.根据最大匹配算法不足改进算法流程提高分词性能,)

　　搜索引擎优化毕业论文(:1.根据最大匹配算法不足改进算法流程提高分词性能,)

　　摘要：中文分词是计算机分析中文文本的一项关键技术。分词算法的好坏直接影响到中文分析系统的实用性。搜索引擎是中文分词技术的重要应用之一。如何用更短的时间获得更高的分词准确率是当前的研究热点和热点。基于字符串匹配的分词算法是目前使用最广泛的中文分词算法，最大匹配算法是最常用的基于字符串匹配的分词算法。本文分析了最大匹配算法的缺点，结合高效的二字哈希字典机制，并提出了一种基于二词哈希词长分组字典结构的改进前向最大匹配算法，分词性能得到显着提升；然后使用匹配过程进行歧义处理，减少错误分割；然后利用改进的算法思想重新设计Lucene中的中文文本分析模块来优化搜索引擎系统。实验表明，本文提出的基于两词哈希字长组字典结构的改进前向最大匹配算法比最大匹配算法有更大的性能提升。本文所做的工作总结如下： 1. 通过对最大匹配算法的研究，分析最大匹配算法的三个问题，并针对每个问题提出解决方案。2.针对最大匹配算法的不足，改进算法流程，提高分词性能，并根据改进算法的需要设计两字符哈希字长分组的字典机制，以及提出了一种基于双字符哈希字长分组字典结构的前向改进型最大匹配算法。该算法可以为每个匹配动态选择合适的初始位置和匹配长度，并且可以快速搜索字典，减少不必要的匹配消耗。分词速度和准确率均优于传统算法。. 3.根据改进算法的匹配过程，结合最大匹配算法+回退单字算法的思想，可以有效消除部分交集歧义，使分词结果更加准确。4. 通过学习搜索引擎知识和Lucene开发包，搭建一个简单的基于Lucene的搜索引擎系统。根据改进算法，重新设计Lucene中文分析模块，提高基于Lucene的搜索引擎系统的应用性能。5. 基于二字符哈希字长组字典结构的改进前向最大匹配算法的实验评价。首先，使用不同的字典机制对同一语料进行切分，以验证本文选择的二字符哈希字典的性能；然后使用本文的改进算法和前向最大匹配算法分别对同一语料进行分割。比较结果。实验结果表明，本文提出的算法在分词速度和分词准确率上均优于前向最大匹配算法，达到了改进的目的。