云端内容采集(ETF期权市场认购认沽合约每日交易对比分析)

　　云端内容采集(ETF期权市场认购认沽合约每日交易对比分析)

　　本章是云数据BI分析平台搭建的开端。首先，我们提供本系列课程的大纲：

　　第一章：云金融数据BI平台解决方案概述

　　第二章：阿里云服务器（ECS）和数据库（MySql）的使用

　　第三章：初识开源BI工具Superset

　　第四章：获取JQData免费行情数据的Python脚本

　　第 5 章：了解选项（Option）主题的基本属性

　　第六章：ETF期权市场整体交易情况

　　第七章：ETF期权市场标的合约每日交易对比

　　第八章：ETF期权市场看涨、看跌合约日交易对比

　　第九章：特定标的合约日常交易对比分析

　　第十章：特定目标合约的每日PCR对比分析

　　这个时期的目标：

　　介绍云金融数据BI平台的整体架构，从宏观上把握体系结构和课程内容，提前了解本课程最终可实现的效果。

　　此问题的指南：

　　一、成品预览

　　作为本系列课程的开始，有必要提前展示该系列的最终效果，以便对课程形成更直观的理解。废话不多说，直接上图：

　　图1 财务数据BI平台成品展示

　　上图显示了本课程教授的数据分析平台对ETF期权交易数据的分析效果。该数据分析平台是一个通用的数据分析解决方案，不仅可以用来分析ETF期权数据，还可以对操作指标、业务数据、投资风控指标等任何结构化数据进行可视化分析和展示。 ，一切都取决于用户“注入”到系统中的数据类型。

　　二、技术架构

　　本系统不是单一的IT工具手册，而是具有“数据采集”-“数据清洗”-“数据存储”-“数据分析”-“可视化展示”的完整闭环，结合实际ETF期权合约交易数据结构可视化财务数据分析案例，具体技术方案结构如下图所示：

　　图2 系统技术架构图

　　数据源使用市场上常见的金融数据提供商的数据。其中聚宽量化平台的数据API可免费使用一年。 Tushare pro 数据在完成特定任务后可以获得相应的模块数据权限。大智慧、东方财富等成熟的商业数据提供商的数据接口通常需要收费（每年几千到几万不等，土豪请无视）。本文中的示例均基于聚宽API的免费数据。为了方便课程内容的复制，建议访问同一个数据源（本文后续数据源默认为聚宽API）。

　　选择数据源后，需要为采集开发相应的python脚本并清理数据，以达到定时从数据源读取采集数据并写入磁盘后写入数据库的目的. python 脚本每天自动运行。阿里云服务器ECS（Windows server 2008r版）。

　　本着开源（免费）的精神，系统选择MySql5.6作为本系统的底层数据库，数据库需要运行在阿里云数据库RDS上。

　　作为在线数据BI系统，最重要的当然是敲定一个免费且高价值的在线报表工具。 Airbnb 技术团队分享了其自主研发的报告工具 Superset（免费）。全球数据科学家受其启发，本文还将使用 Superset 进行后续数据分析示例的开发和展示。同时Superset还需要运行在上述阿里云服务器ECS（Windows server 2008r版本）上。

　　上述技术方案部署后，用户可以通过PC、笔记本电脑、手机等任何联网终端浏览器访问实时云数据报表（Superset）。

　　另外，如果你有现成的服务器或PC，只要机器能上网，就可以用来代替上图中的云服务器ECS和云数据库RDS（数据库和服务器可以使用同一台机器），这样就节省了租用云服务器的成本，真正做到了整个程序完全免费。唯一的缺陷是本地机器所面临的物理环境可能不稳定，比如家里断网、断电、硬盘损坏等，导致服务器无法自动采集并清理数据很长时间。如果您租用云服务器，则可以避免这种情况。麻烦。

　　三、竞品分析

　　在上述技术框架中，“数据源”、“数据库”和“应用层”存在多种竞争产品选择。

　　理论上每一层技术方案都可以从以上选项中选择最方便的工具来搭建自己的数据分析平台，但一方面为了跟上本课程后续的演示，建议根据王先生的选择进行配置。另一方面，大多数其他选项都是收费的商业应用程序。目前王先生探索的方案是唯一完全免费的组合（在不租用云服务器的前提下）（手动就好）。

　　四、成本计算

　　模块

　　选择这篇文章

　　费用

　　数据来源

　　聚宽API

　　免费使用一年

　　数据采集

　　Python 脚本

　　免费

　　数据库

　　MySql 5.6

　　免费

　　数据库服务器

　　阿里云RDS

　　月租（如果有的话，可以免费使用自己的数据库服务器）

　　应用层

　　超集 45

　　免费

　　应用服务器

　　阿里巴巴云ECS（Windows server 2008r）

　　月租（如果有，可以免费使用自己的应用服务器）

　　表一成本计算表

　　合理选择系统方案，才能真正做到零成本。如果您有稳定长期可用的服务器或本地PC，完全可以放弃阿里云服务器和数据库的租赁，实现真正完全免费的数据分析平台。

　　更多互动：

　　一个。推荐优质免费金融数据源：注册即可使用。

　　B.请关注并请求赞赏。个人网站：“新手导航”-“原创文章”会同步更新。

　　c.扫描二维码添加作者微信加入交流学习群：

　　扫描二维码加入群组