自动采集编写(如何新建采集器并至DataWorks?(图)元数据采集 )

优采云 发布时间: 2022-02-06 15:10

  自动采集编写(如何新建采集器并至DataWorks?(图)元数据采集

)

  采集元数据用于将表结构和血缘关系采集添加到数据图上,将表的内部结构以及与表的关系一目了然。本文介绍如何为 DataWorks 创建新的 采集器 和 采集OTS 元数据。采集完成后,您可以在数据图上查看数据。

  背景资料

  采集元数据满后,系统会开启自增采集自动同步表中新增的元数据。登录DataWorks控制台后,进入数据映射页面。有关详细信息,请参阅。在顶部菜单栏上,单击数据发现。在左侧导航栏中,单击元数据采集 > OTS。在 OTS 元数据采集 页面上,单击新建采集器。在新建采集器配置向导页面,完成以下操作。在“基本信息”选项卡上,配置各种参数。

  

  参数说明

  采集器名称

  采集器 的名称,必填且唯一。

  采集器说明

  采集器 的简要说明。

  工作区

  采集对象(数据源)所属的 DataWorks 工作区。

  数据源类型

  采集对象的类型,默认为OTS。

  点击下一步。在 Select 采集 Object 选项卡上,从 Data Source 下拉列表中选择相应的数据源。

  如果列表中没有您需要的数据源,点击新建数据源,进入工作管理空间 > 数据源管理页面新建数据源。有关详细信息,请参阅。

  单击测试采集连接。测试成功后,单击下一步。

  如果测试连接失败,请检查数据源是否配置正确。

  在配置执行计划选项卡上,配置执行计划。

  执行计划包括按需、每月、每周、每天和每小时。根据不同的执行周期,生成不同的执行计划,在对应的执行计划时间内,对目标数据源执行metadata采集。详情如下:

  点击下一步。在“信息确认”页签,确认配置信息无误后,单击“确定”。在OTS Metadata采集页面,您可以查看和管理target采集器的信息。

  主要操作说明如下:

  结果

  采集OTS元数据成功后,可以在所有数据>OTS页面查看已经采集的表。

  

  点击表名、工作区和数据库,查看对应类别的详细信息。

  示例 1:查看 mysql_ots 表的详细信息。

  

  示例 2:查看 datax-bvt 数据库中收录的所有表信息。

  

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线