excel抓取网页动态数据(人人可用的开源数据可视化分析工具——冬奥主题仪表板)

　　excel抓取网页动态数据(人人可用的开源数据可视化分析工具——冬奥主题仪表板)

　　2022年北京冬奥会刚刚落下帷幕。作为一名奥运球迷，我不仅为能够不受时差影响享受比赛而感到满足，也为我们国家的成功举办感到自豪。看完闭幕式后，我在想，如何才能以自己的方式来纪念这一非凡的冬奥会，用视觉的方式展示冬奥会的成就和成就。

　　在网上找了很多数据可视化工具。经过多次比较和选择，最终选择了DataEase开源数据可视化分析平台v1.7.0版本。数易的口号是“开源数据可视化分析工具，人人共享”。该项目附带完整的指导文件和手册。如果有解决不了的问题，可以加入开源群，请教各种大神。特别适合我这种什么都不懂的新手。

　　以下是我最终选择使用DataEase进行数据可视化分析的主要原因：

　　■ 开源是最大亮点。目前市面上的数据分析软件很多，而且很多都是收费的，所以完全免费的开源系统非常适合我这种不经常使用的人；

　　■ 支持多种数据源，如数据库、Excel表格等；

　　■ 制作简单，*敏*感*词*中通过拖放生成图表，操作简单易用；

　　■ 组件元素丰富，可以在仪表板上插入文字、形状、时间、图片和视频。

　　确定主题

　　首先，我制作了一张思维导图来确定我想要展示的内容。冬奥会主题仪表盘的内容包括：

　　■ 展示冬奥会的最终成绩：一方面是展示世界各个参赛国家的奖项，另一方面是了解中国在该赛事中的排名；

　　■ 中国代表团在冬奥会上的表现；

　　■ 其他重要数据，如：中国为举办冬奥会做出了哪些贡献？冬奥会的收获是什么？有多少志愿者为这次活动付出了努力？

　　

　　数据准备

　　主要数据来源为媒体新闻和北京冬奥会官网。对数据进行排序后，将提取的有价值的数据导入数据库或Excel。在数据抓取和过滤的过程中，我发现DataEase对于数据库中的数据变化有一个“同步更新”的功能，非常方便。在数据发生变化的情况下，您只需点击“同步更新”即可一键更新数据。

　　以下是一些数据源的链接：

　　北京冬奥会官网：

　　人民网：

　　澎湃新闻：

　　网易：

　　知乎:

　　制作仪表板

　　制作此仪表板的步骤是：创建数据源 → 创建数据集 → 创建视图 → 导入视频 → 制作仪表板。

　　■ 创建数据源

　　本文使用数据库和 Excel 作为数据源。目前DataEase v1.7.0版本已经支持MySQL、Apache Hive、Oracle、SQL Server、PostgreSQL、MariaDB、Elasticsearch、Apache Doris、ClickHouse、AWS Redshift、MongoDB、DB2等数据源。

　　

　　■ 创建数据集

　　创建数据库数据集：选择添加“数据库数据集”选项，并在其页面上查看所选数据库下的数据表。

　　

　　导入数据集后，在“字段管理”选项卡中检查字段名称、字段类型以及维度和指标的位置。

　　

　　■ 创建视图

　　所谓“视图”，就是将数据集中的数据以图表的形式展示出来。我更关心的是可视化工具能否提供足够多的视图类型来展示我想要表达的内容。例如，当我想展示数据变化的趋势时，我需要使用折线图，而当我想展示数据的分布时，我需要使用条形图等。

　　数易提供的图表类型非常丰富。目前支持的视图类型包括：时间表、指标卡、基本条形图、堆积条形图、水平条形图、水平堆积条形图、基本折线图、堆积折线图、饼图、夜莺玫瑰图、漏斗图、雷达图、仪表板、中国地图、散点图、气泡图、树形图等。数易开源项目组也承诺每月迭代更新，继续支持更多类型的视图。

　　下面以展示冬奥会奖牌表为例，说明仪表板的*敏*感*词*。

　　Step1：输入新视图的标题→选择数据集→选择合适的图表类型。

　　

　　Step2：配置维度和指标信息，调整样式，使视图的色调整体协调。

　　

　　■ 视频导入

　　在DataEase仪表盘上放置视频有两种方式：1.获取网络上的视频地址，直接使用；2.搭建视频服务器上传获取地址。

　　这一次，我使用了自己搭建视频服务器的方法来上传。视频导入步骤为：获取合适格式的视频（mp4、webw等）→导入到视频服务器（仅限网络可以访问的视频）→添加到dashboard通过视频组件。

　　

　　如下图所示，可以在“拖放”视频组件后设置视频链接。我把北京冬奥会宣传片和闭幕式的两个视频放在这里，并设置为循环播放。数易默认打开仪表盘时，视频是静音的，也非常人性化。

　　

　　■ 制作仪表板

　　第一步：选择背景、色调和布局。我在制作时选择了蓝色和白色作为主要的背景色，仪表盘中的视图标题颜色统一设置为#0482FC。

　　

　　Step2：在画布上排列相应的元素，调整每个元素的样式，形成仪表板，效果如下图。

　　

　　评论

　　在使用了DataEase开源数据可视化工具之后，我也积累了一些仪表盘的制作经验，在这里和大家分享一下：

　　■ 明确仪表盘的主题

　　我们制作的仪表板应该有一个明确的主题，之后我们可以使用每个适当的视图元素来“表达”数据。DataEase对初学者非常友好，是一款真正“人人可用”的数据可视化分析工具；

　　■ 关注数据可以传达的内容

　　仪表盘的各种元素应该让人更直观地感受到数据的魅力。例如，本届冬奥会仪表盘中中国历届冬奥会奖牌数折线图​​显示了我国在参加冬奥会进程中的进步，体现了“更快、更高、更强、更多团结” “奥林匹克格言。