实时抓取网页数据(林伟坚申请学位级别硕士专业计算机软件与理论指导教师袁晓洁201205摘要摘要)

　　实时抓取网页数据(林伟坚申请学位级别硕士专业计算机软件与理论指导教师袁晓洁201205摘要摘要)

　　基于scrapy框架的新闻实时捕获与处理系统的设计与实现林伟健学位级硕士专业计算机软件应用与理论讲师袁晓杰2012年5月摘要随着信息技术的飞速发展，互联网的信息爆炸给人们带来了信息过载的问题。新闻信息是接触面最广的信息之一，媒体信息发布方式已逐渐从传统媒体转向互联网。新闻信息作为互联网信息的重要组成部分，也在迅速增长。在这种背景下，本文确定了通过分布式新闻实时捕获快速聚合和处理互联网上各个站点的新闻内容，从而使人们更高效、更全面地获取新闻信息的研究方向。本文根据新闻网站和新闻爬虫的特点，对互联网新闻信息进行了深入的分析和总结，将新闻网站的页面准确地划分为导航页面和新闻页面。通过区分这两个页面的不同监控和抓取措施，详细设计了适用于新闻抓取器的核心算法，包括抓取策略和更新策略。这两个核心算法能够保证新闻的全面、高效捕获。基于开源数据库软件的爬虫框架，实现了一个分布式新闻实时抓取系统。该新闻实时抓取系统使用正则表达式方法提取和识别多个模块中的相关数据。本文还设计并实现了一个可配置的模块&新闻数据处理流水线来处理抓取的新闻

　　管道的功能模块包括新闻数据提取、新闻属性规范化、分页新闻合并和新闻内容清理。根据中文新闻的特点，本文采用特征提取的方法提取新闻特征，并在网页重复数据消除算法的基础上实现了新闻重复数据消除算法。本文实现的分布式新闻实时抓取和数据清理系统已经应用到实际生产过程中。通过对多个新闻站点和多个初始化导航页面的抓取和监控，系统每天可以抓取10000多个页面，其中新闻页面的比例非常高。这些运行数据表明，该系统具有较高的爬行效率。后续的数据处理管道也可以胜任每日新闻关键词news crawler数据提取新闻重复数据消除的处理和处理第1章导论第1章导论第1节研究背景和意义随着互联网的快速发展，互联网正在渗透到我们生活的方方面面，从精神信息到物质需求都可以通过互联网实现。技术是技术的最好表现。它以其方便、快捷、丰富的表达方式，成为世界上使用最广泛的互动方式。随着信息的爆炸式发展，数以亿计的网站正在涌现，搜索引擎收录的网页数量也在快速增长。年，他们通过博客宣布索引的网页数量已达到万亿。即便如此，索引网页只是互联网上所有网页的一部分。互联网上丰富的信息给人们带来了极大的便利。通过互联网，人们可以高效、快速地获取各种信息

　　然而，信息爆炸也给用户带来了信息过载的问题。如何快速地从大量的信息中选择他们需要的是一个日益紧迫的问题。世纪末，作为第一代互联网信息接入，它解决了当时的信息过载问题，成为互联网奇迹的创造者之一。然而，随着互联网的不断发展，信息过载问题越来越严重。此目录信息采集网站无法解决信息量大的问题。成立于年，逐渐取代信息获取成为新一代互联网，改变了整个互联网的信息获取模式。作为一个搜索引擎，它将使用网络爬虫主动采集互联网上的各种信息进行分类和存储，并对这些信息进行索引，以便用户快速检索。这种模式将用户从目录导航网页的局限中解放出来，可以快速查找互联网上的各种信息，极大地提高了工作效率和获取信息的质量。因此，它已成为互联网的第二代霸主。作为搜索引擎的重要组成部分，网络爬虫从互联网上下载网页供搜索引擎使用。它的爬行效率影响着搜索引擎能够索引的页面数量和更新频率，直接决定着搜索引擎的质量。它不仅可以为搜索引擎提供最基本的数据源，还可以判断数据的质量。新闻是人们在现实生活中接触最多的一种媒体信息。随着互联网的飞速发展，新闻已经逐渐从传统媒体转向互联网

　　随着互联网时代的到来，新闻的时滞趋于零，人们对新闻和信息的获取逐渐从传统媒体转移到互联网上。同样，新闻信息作为互联网信息的重要组成部分，在第一章的引言中也在不断增加。如何让人们更高效、更全面地获取新闻信息也是一个巨大的挑战。与搜索引擎一样，新闻信息聚合首先要解决的是新闻信息的获取。传统的网络爬虫对互联网上的所有信息一视同仁，没有对新闻信息进行特殊处理。在发布后很长一段时间内捕捉并向用户显示的新闻信息已经失去了意义。传统的网络爬虫对新闻信息的抓取已经不能满足新闻时效性的要求。因此，必须根据新闻信息的特点设计一个有针对性的爬虫来抓取新闻，才能有效地捕获新闻信息。随着互联网的发展，互联网上的新闻信息也进入了一个海量的时代。只有一台服务器才能快速处理的任务越来越少。新闻信息的爬行不能依赖于单个服务器。设计一个分布式爬行系统势在必行。除了分布式新闻爬虫，新闻信息采集还需要一套有效的新闻数据处理方法来处理和处理新闻数据，以便能够定期向用户显示。总之，新闻信息的获取需要高性能分布式爬虫技术、数据处理技术和海量数据存储技术的支持。分布式新闻爬虫和新闻数据处理技术的研究不仅能够满足用户高效、全面获取新闻信息的需求，而且具有很高的学术研究价值

　　第二部分是本文的主要研究内容和工作。为了满足全面、快速获取新闻信息的需要，本文设计了一种分布式新闻实时捕获系统和新闻数据处理方案。主要完成了以下工作，深入研究了传统全网爬虫的发展及其相关算法和技术，详细比较了几种性能较好的全网爬虫的优缺点，以指导新闻爬虫系统的设计。深入分析和总结了网络新闻信息、新闻网站和新闻爬虫的特点。基于这些特点，详细设计了新闻爬虫的核心算法爬虫策略和更新策略。基于深度定制的爬虫框架，结合两个开源数据库软件，实现了一个分布式新闻实时爬虫系统。通过分析爬行系统的运行数据，确定系统的爬行性能。设计了一套具有可配置模块的新闻数据处理流水线，包括新闻数据提取、新闻属性规范化、分页新闻合并和新闻内容清理。根据中文新闻的特点，结合该算法，实现了第一章引言中一种更高效的新闻重复数据消除算法。第二章详细介绍了网络爬虫的发展及其相关算法和技术。本文首先介绍了网络爬虫的定义及其常用的算法和模块，然后选取了三种性能优异的开源爬虫作为代表，仔细研究了它们的特点，并进行了详细的比较。本章第二部分还介绍了实现新闻爬虫的框架，详细描述了新闻爬虫的组成、体系结构和程序执行过程

　　第三章详细介绍了分布式新闻实时捕获系统的实现方案。首先介绍了新闻爬虫的特点，并根据这些特点制定了新闻爬虫的实现方案。通过对crawler框架的深入定制，设计并实现了一套基于两个开源数据库的分布式新闻实时捕获系统。本章最后一部分对爬虫系统实际运行中的数据进行了统计分析。第四章详细介绍了新闻数据的处理方案，特别是新闻数据的提取