一个数据架构师做什么?只是设计表?这并不是
优采云 发布时间: 2021-08-10 21:07一个数据架构师做什么?只是设计表?这并不是
数据架构师做什么的?只设计桌子?这是我第一次能想到的。但事实证明,事实并非如此。数据架构师的主要职责是:
数据建模和分析 (45%)
数据加载和交付 (25%)
数据可用性、性能、安全保证 (15%)
数据质量和治理 (10%)
其他 (5%)
1. 数据建模与分析
了解数据
了解组织中的数据是最重要的责任。如果他在证券机构工作,他需要了解收益率等专业术语。一个不能真正理解数据意义的架构师,也无法创造出完整实用的功能。
数据建模
这不仅仅是设计数据库表。它还收录对 XML 文件和模式 (XSD)、OLAP 多维数据集、接口文件格式等的定义。 不仅包括表的设计,还包括索引、日志、分区、数据库和数据服务器、触发器、审计等物理数据模型和逻辑数据模型。虽然我们经常忽略数据库的物理构成,但这部分工作交给了DBA。
数据分析
我们经常将数据分析的工作委托给专业的数据分析师。我们一直认为我们的工作是设计数据模型,而业务分析不是我的工作。这是错误的观点。作为数据架构师,您需要了解一切。可以帮助我们更好地设计数据架构。
2. 数据加载
数据并不能按照我们的要求跑到我们的数据库中,而是需要经过一个复杂的过程一步一步的更新/插入到我们的数据仓库中。我们需要了解整个数据加载的细节。了解整个加载器架构以及它们在每个步骤中的作用。如果您使用诸如 Autosys 之类的调度工具,请了解它的工作原理。如何创建条件警告、循环、如何检测加载时间等等。当然很多任务是由生产支持团队完成的,但是设计整个加载过程是数据架构师的责任/框架。
如果数据架构师只知道数据模型而不知道数据加载的过程,那他就跟盲人没什么两样。何时以及如何将数据加载到数据库中,这些数据会发生明显的变化。
****************************************
(待续)。 . . .