搜索引擎的WebSpider(网络蜘蛛)的搜索策略和搜索优化措施

搜索引擎的WebSpider(网络蜘蛛)的搜索策略和搜索优化措施

　　网络蜘蛛搜索策略的研究是近年来专业搜索引擎研究的热点之一。如何让搜索引擎快速准确地从庞大的网页数据中获取所需的资源，是当前面临的一个重要问题。本文重点介绍了搜索引擎Web Spider的搜索策略和搜索优化措施，提出了一种基于广度优先算法的简单Web Spider

　　基于广度优先搜索的网络蜘蛛设计

　　小涵

　　北京邮电大学信息工程学院，100876

　　摘要：网络蜘蛛搜索策略的研究是近年来专业搜索引擎研究的热点之一。如何使搜索引擎能够快速准确地从庞大的网页数据中获取所需的资源，是当前面临的一个重要问题。本文重点介绍了搜索引擎Web Spider的搜索策略和搜索优化措施，提出了一种基于广度优先算法的简单Web Spider设计方案，并分析了设计过程中的优化措施。

　　关键词：搜索引擎；网蜘蛛；检索策略 中文图书馆分类号：TP39 文献识别码：A

　　基于广度优先搜索的网络蜘蛛设计

　　小涵

　　北京邮电大学信息工程学院,100876

　　摘要：最近几年的研究都在寻找在搜索引擎中访问 Web 的有效策略。本文根据网络蜘蛛对从网络获取的链接进行评估和预测的方式对网络蜘蛛的搜索策略进行分类。描述了搜索策略的原理和特点，讨论了其优缺点。

　　关键词：搜索引擎；网蜘蛛；搜索策略

　　满足人们对个性化服务日益增长的需求。那么如何设计一个网络蜘蛛来更高效地爬行。简介

　　在互联网上获取内容已成为搜索引擎的主要问题。

　　近年来，随着互联网技术的广泛应用，传统的

　　在设计网络蜘蛛时，不仅要充分考虑爬行的有效性

　　Google、Fast、Alta Vista 和 GoTo 等通用搜索引擎

　　速率和站点设置的灵活性也应保证系统的稳定性。一个

　　我们面临着巨大的挑战。挑战之一是Web信息资源的呈现

　　优秀的搜索引擎需要不断优化网络蜘蛛的计算

　　呈指数增长，搜索引擎无法索引所有页面。据统计，

　　提高其性能的方法。本文正在分析网络蜘蛛的工作原理

　　目前，Web 上静态页面的数量超过 40 亿，而这个

　　基于

　　，提出一种基于广度优先搜索算法的网络

　　这一数字仍在以平均每天 730 万页的速度增长。

　　网络蜘蛛的实现，与提高网络蜘蛛搜索效率有关

　　这几年虽然各种通用搜索引擎都在做索引技术

　　查看。

　　技术和索引的数量增加了，但远远跟不上网络本身的增长速度，即使是世界上最大的搜索引擎。

　　1 网络蜘蛛的工作原理

　　谷歌，它索引的页面数量只占整个Web的40%；第二个挑战是Web信息资源的动态变化。搜索引擎没有网络蜘蛛（即Web Spiders），这实际上是对信息及时更新的法律保障。近年来的研究表明，WebHTTP 协议是一种网络应用。网络蜘蛛利用网页上的页面在平均 50 天内查找大约 50% 的页面变化，以及查找网页的链接地址，从某个页面网站（通常，至少需要几个周为当前通用搜索引擎更新（即首页）启动，阅读网页内容，提取网页长时间；第三个挑战是找到传统搜索引擎提供的信息检索服务的其他超链接地址，然后使用这些链接地址找到下一个任务。否

　　作者简介：肖寒（1987-）男，北京人，北京邮电大学信息工程学院本科生 E-mail：artex.xh@