抓取网页音频(通用搜索引擎如何有效地提取并利用这些信息成为一个巨大的挑战)

　　抓取网页音频(通用搜索引擎如何有效地提取并利用这些信息成为一个巨大的挑战)

　　随着互联网的飞速发展，万维网已经成为海量信息的载体。如何有效地提取和利用这些信息成为一个巨大的挑战。搜索引擎，如传统的通用搜索引擎 AltaVista、Yahoo! 谷歌等作为辅助人们检索信息的工具，成为用户访问万维网的入口和向导。但是，这些通用的搜索引擎也有一定的局限性。例如：（1)不同领域、不同背景的用户往往有不同的搜索目的和需求。搜索引擎返回的结果中收录了大量不关注网页的用户。（2)目标一般搜索引擎的目的是最大化网络覆盖。有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。（3) 随着万维网上数据形式的丰富和网络技术的不断发展，大量的图片、数据库、音频、视频、多媒体等不同的数据大量出现。一般搜索引擎往往对这些信息内容密集、有一定结构的数据无能为力，不能很好地发现和获取。（4)一般搜索引擎大多提供基于关键字的检索，难以支持基于语义的查询为了解决上述问题，出现了针对相关网络资源的聚焦爬虫，聚焦爬虫是一个自动下载网页的程序，根据既定的爬取目标，有选择地访问万维网上的网页和相关链接，获取所需信息。与通用网络爬虫不同，聚焦爬虫不追求大Cover，目标是抓取与特定主题内容相关的网页，为面向主题的用户查询准备数据资源。

　　1 重点介绍爬虫的工作原理和关键技术概述。网络爬虫是一种自动提取网页的程序。它从万维网上下载网页供搜索引擎使用，是搜索引擎的重要组成部分。传统爬虫从一个或多个初始网页的网址开始，获取初始网页上的网址。在爬取网页的过程中，他们不断地从当前页面中提取新的URL并将它们放入队列中，直到满足系统的某个停止条件。聚焦爬虫的工作流程比较复杂。需要按照一定的网页分析算法过滤与主题无关的链接，保留有用的链接，放入URL队列等待被抓取。然后，它会根据一定的搜索策略从队列中选择下一步要抓取的网页的网址，重复上述过程，直到达到系统的某个条件时停止。另外，爬虫爬过的所有网页都会被系统存储起来，进行一定的分析、过滤、索引，以备以后查询检索；对于专注的爬虫，这个过程中得到的分析结果还是可以对后续的爬虫过程给出反馈和指导的。与一般的网络爬虫相比，聚焦爬虫需要解决三个主要问题：（1)对爬取目标的描述或定义；（2)对网页或数据的分析和过滤；（3) URL 的搜索策略。并重复上述过程，直到达到系统的某个条件时停止。另外，爬虫爬过的所有网页都会被系统存储起来，进行一定的分析、过滤、索引，以备以后查询检索；对于专注的爬虫，这个过程中得到的分析结果还是可以对后续的爬虫过程给出反馈和指导的。与一般的网络爬虫相比，聚焦爬虫需要解决三个主要问题：（1)对爬取目标的描述或定义；（2)对网页或数据的分析和过滤；（3) URL 的搜索策略。并重复上述过程，直到达到系统的某个条件时停止。另外，爬虫爬过的所有网页都会被系统存储起来，进行一定的分析、过滤、索引，以备以后查询检索；对于专注的爬虫，这个过程中得到的分析结果还是可以对后续的爬虫过程给出反馈和指导的。与一般的网络爬虫相比，聚焦爬虫需要解决三个主要问题：（1)对爬取目标的描述或定义；（2)对网页或数据的分析和过滤；（3) URL 的搜索策略。并为以后的查询和检索建立索引；对于专注的爬虫，这个过程中得到的分析结果还是可以对后续的爬虫过程给出反馈和指导的。与一般的网络爬虫相比，聚焦爬虫需要解决三个主要问题：（1)对爬取目标的描述或定义；（2)对网页或数据的分析和过滤；（3) URL 的搜索策略。并为以后的查询和检索建立索引；对于专注的爬虫，这个过程中得到的分析结果还是可以对后续的爬虫过程给出反馈和指导的。与一般的网络爬虫相比，聚焦爬虫需要解决三个主要问题：（1)对爬取目标的描述或定义；（2)对网页或数据的分析和过滤；（3) URL 的搜索策略。