自动采集编写(如何新建采集器并至DataWorks?(图)元数据采集 )
优采云 发布时间: 2022-02-06 15:10自动采集编写(如何新建采集器并至DataWorks?(图)元数据采集
)
采集元数据用于将表结构和血缘关系采集添加到数据图上,将表的内部结构以及与表的关系一目了然。本文介绍如何为 DataWorks 创建新的 采集器 和 采集OTS 元数据。采集完成后,您可以在数据图上查看数据。
背景资料
采集元数据满后,系统会开启自增采集自动同步表中新增的元数据。登录DataWorks控制台后,进入数据映射页面。有关详细信息,请参阅。在顶部菜单栏上,单击数据发现。在左侧导航栏中,单击元数据采集 > OTS。在 OTS 元数据采集 页面上,单击新建采集器。在新建采集器配置向导页面,完成以下操作。在“基本信息”选项卡上,配置各种参数。
参数说明
采集器名称
采集器 的名称,必填且唯一。
采集器说明
采集器 的简要说明。
工作区
采集对象(数据源)所属的 DataWorks 工作区。
数据源类型
采集对象的类型,默认为OTS。
点击下一步。在 Select 采集 Object 选项卡上,从 Data Source 下拉列表中选择相应的数据源。
如果列表中没有您需要的数据源,点击新建数据源,进入工作管理空间 > 数据源管理页面新建数据源。有关详细信息,请参阅。
单击测试采集连接。测试成功后,单击下一步。
如果测试连接失败,请检查数据源是否配置正确。
在配置执行计划选项卡上,配置执行计划。
执行计划包括按需、每月、每周、每天和每小时。根据不同的执行周期,生成不同的执行计划,在对应的执行计划时间内,对目标数据源执行metadata采集。详情如下:
点击下一步。在“信息确认”页签,确认配置信息无误后,单击“确定”。在OTS Metadata采集页面,您可以查看和管理target采集器的信息。
主要操作说明如下:
结果
采集OTS元数据成功后,可以在所有数据>OTS页面查看已经采集的表。
点击表名、工作区和数据库,查看对应类别的详细信息。
示例 1:查看 mysql_ots 表的详细信息。
示例 2:查看 datax-bvt 数据库中收录的所有表信息。