实时抓取网页数据(统计COVID-19疫情数据可视化分析考核要点及使用方法 )

优采云 发布时间: 2021-10-27 04:00

  实时抓取网页数据(统计COVID-19疫情数据可视化分析考核要点及使用方法

)

  一、实验目的

  通过本次实验,掌握数据采集、数据清洗与存储、数据可视化工具的基本使用方法。

  二、 实验平台

  操作系统:window10

  Python 版本:3.8

  IDE:pycharm

  可视化工具:echarts

  三、新冠疫情数据采集实验内容及要求

  评估要点:尽可能全面的获取疫情数据,包括*敏*感*词*流行的历史数据,尽可能的获取新的信息,同时也尽可能的获取疫苗接种次数等信息。老师会根据资料的综合程度打分。推荐使用爬虫方式获取数据。如果有困难,可以使用网上其他人整理的数据。关于数据来源,可以从世界卫生组织、定香园、腾讯新闻等渠道获取。网上有很多资料可以参考。

  数据来源1:json格式网页抓取腾讯疫情数据

  

  数据来源2:来自约翰霍普金斯大学的GitHub流行病数据

  

  新冠疫情数据采集

  评估要点:对获取的疫情相关数据进行清理,去除冗余数据。关于数据存储,可以使用csv文件,但欢迎大家尝试将数据存储在关系型数据库(如MySQL、SQLite等轻量级数据库)或NoSQL数据库(如MongoDB)中。

  获取中美两国现有确诊人数、累计死亡人数、累计治愈人数,并存入字典

  

  获取中国所有省份累计确诊病例数

  

  获取中国及美国各省州累计确诊病例和累计死亡人数列表

  

  读取疫情数据的csv文件,得到中国各省7个时间节点累计确诊COVID-19人数

  

  获取并处理中国、美国、印度、意大利7个时间节点累计确诊病例、累计死亡、累计治愈数

  

  

  COVID-19 数据的可视化分析

  评估要点:基于获取的疫情数据,多角度可视化COVID-19疫情的发展过程。计算 COVID-19 流行的地理分布,包括国际和国内。关于可视化工具,可以使用Python或R。有很多强大的包。网上也有很多资料供大家参考。

  使用五张echarts图表

  

  

  

  

  效果图

  

  

  

  

  

  

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线