搜索引擎优化毕业论文(专业网络蜘蛛的设计和实现过程通过专业蜘蛛从互联网抓取网页,)

　　搜索引擎优化毕业论文(专业网络蜘蛛的设计和实现过程通过专业蜘蛛从互联网抓取网页,)

　　【摘要】 随着互联网的快速发展，网络上的信息量不断增加，传统的搜索引擎已经不能满足人们对个性化信息检索服务的需求。对于用户提供的关键词，现有的搜索引擎往往会返回上千条搜索结果，用户很难找到自己真正需要的内容。为了解决这个日益严重的问题，专业领域的个性化搜索研究正成为越来越热门的话题。专业网站的集合，通常以Web Community的形式，具有无标度的特点。在具有无标度特征的网络中，“out-degree-in-degree”对应的分布函数 网络节点的数量及其相关参数几乎不受网络规模的影响，保持良好的稳定性。通过识别对应的Web Community，可以有效提高从网络获取信息的效率。文章主要讨论和分析一个专业的网络社区识别系统的设计和实现过程，通过专业的网络蜘蛛有选择地从互联网上抓取网页，对爬取的网页内容进行专业的关联分析，不断满足条件 将网页添加到Web Community，最终搭建一个比较完整的专业Web Community。文章首先介绍搜索引擎的背景以及网络社区认定的相关技术，分析了现有技术的不足，然后对系统实现的关键技术进行了详细的讨论和分析。系统设计与实现的讨论主要集中在以下两章：专业网络蜘蛛的设计与实现和网络社区识别关键算法研究。第三章介绍了专业网络蜘蛛模块的设计、实现和性能优化，并讨论和分析了其搜索策略的制定。第四章基于当前成熟的Web Community识别技术，提出了一种网页主题识别算法——WKHR（Weighted Keyword Hierarchical Recognition），可以有效提高网页主题判断的准确性。得到了很好的结果。论文第五章介绍了系统的具体实现和系统原型的相关测试分析。最后，第六章对全文所做的工作进行了总结，并提出了进一步的展望。