自动采集推送(基于网络爬虫的新闻订阅系统的设计与实现的过程)

　　自动采集推送(基于网络爬虫的新闻订阅系统的设计与实现的过程)

　　简介 本文描述了基于网络爬虫的新闻订阅系统的设计和实现。主要任务如下：

　　1.编写一个网络爬虫，使其能够自动采集网络中指定站点的新闻并存入数据库；2.数据去重和网络爬虫反爬虫策略响应；3.提供新闻展示页面，将爬取的新闻展示给用户；4.提供新闻订阅页面，用户可以在页面输入指定订阅关键词；5.写微信推送服务，将用户订阅的新闻通过微信推送给用户

　　目录 第 1 章 简介 ................................................... ..................................................... ...... 11.1 项目背景及意义 ................................................... ..................................................... ..... 11.2 研发现状分析…………………………………………. . 11.2.1 个性化新闻服务现状………………………………. 11.2.2 网络爬虫研究现状……………………………………. 21.2.3 项目范围和预期成果.......................... ................................................ 21.3 论文结构介绍.......................... ......................................................... 3 第 2 章技术和原则……………………………………。. 42.1 技术选型……………………………………………………. 42.1。1 Python语言简介………………………………. . 4 2.1.2 Scrapy框架介绍……………………………………42.1.3 Django框架介绍……………………………………. . 52.1.4 MongoDB数据库介绍……………………. . 52.1.5 AJAX 简介…………………………………………. . 52.2 相关原理介绍……………………………………………… 62.2.1 网络爬虫介绍……………………………………………… 62.2。

　　2 关键词提取技术……………………………………. 62.2.3 智能推送技术…………………………………………. . 7 第三章系统需求分析………………………… 93.1 新闻订阅系统用例提取………………………… 93.2 新闻订阅系统用例法规…………………… …………。93.2.1 新闻提要……………………………………………… 93.2.2 新闻提要…………………………………………。. 11 第四章新闻采集与订阅系统的设计…………. . 134.1 系统架构与原理……………………………………. . 134.2 系统模块设计…………………………………………. . 154.2.1 爬虫采集模块设计………………………………. . 154.2.2爬虫去重模块的设计………………………………. . 164.2.3 反反爬虫模块设计………………………………. . 164.2.4 履带式存储模块设计………………………………. . 174.2.5 消息推送模块设计………………………………. . 174.2。

　　18 第五章新闻采集及订阅制的实现…………. . 195.1 系统框架实现…………………………………………. . 195.2爬虫采集模块实现……………………………………。215.3 反反爬虫模块实现……………………………………. 225.4 爬虫存储模块实现……………………………………. . 225.5 消息推送模块的实现……………………………………. 235.6 消息订阅与展示模块的实现……………………. . 25 第六章系统部署……………………………………………………………………………………………… 306.1 部署机器概述…………………………………………. . 306.2 配置环境 ................................................... ................................................... 306.3系统操作 .................................................... ..................................................... ..................... 31 七章总结与展望…………………………………………. 337.1 总结 ................................................... ..................................................... ............. 337.2 前景…………………………………………………………。33 参考文献 ................................................... ................................................................ 34 致谢..................................................... .................................................. 35 附录 .. ..................................................... ………………………………………………………………………………………………………………………………………… 36

　　通过：