与 IBM Manta Data Lineage 集成

将 Manta 与 watsonx.data 集成后，您就可以通过 Manta UI 从 Spark 和 Presto 捕捉并发布作业、运行和数据集事件，从而全面了解数据流和转换。

准备工作

  • 创建数据源定义和 OpenLineage 连接。
  • 在项目中创建 OpenLineage 元数据导入并运行。

有关详细信息，请参阅 为 IBM Manta Data Lineage 准备数据。

过程

  1. 登录 watsonx.data 控制台。

  2. 从导航菜单，转到配置 > IBM Manta Data Lineage。

  3. 输入以下详细信息：

    IBM Manta Data Lineage集成
    字段 描述
    血统摄取终点 输入激活数据行服务的 IBM Cloud 主机端点 URL。
    API 密钥 输入 API 密钥。 有关生成 API 密钥的信息，请参阅 创建 API 密钥

  4. 单击“**保存 **”保存详细信息。 单击“编辑”可编辑已保存的详细信息。

  5. 单击启用启用 Manta Data Lineage。

数据沿袭对启用后启动的新工作有效。 以前和正在进行的工作将不显示数据行。 目前，它支持在 Manta Data Lineage查看 CREATE TABLE AS (CTAS) 和 INSERT INTO SELECT 操作的行。

后续操作

  • 您可以查看资产的数据序列。 更多信息，请参阅 查看数据行。
  • 您可以管理和调整您的脉络图，从而全面了解和控制数据管道。 更多信息，请参阅 管理数据行图。