与 IBM Manta Data Lineage 集成
将 Manta 与 watsonx.data 集成后,您就可以通过 Manta UI 从 Spark 和 Presto 捕捉并发布作业、运行和数据集事件,从而全面了解数据流和转换。
准备工作
- 创建数据源定义和 OpenLineage 连接。
- 在项目中创建 OpenLineage 元数据导入并运行。
有关详细信息,请参阅 为 IBM Manta Data Lineage 准备数据。
过程
-
登录 watsonx.data 控制台。
-
从导航菜单,转到配置 > IBM Manta Data Lineage。
-
输入以下详细信息:
IBM Manta Data Lineage集成 字段 描述 血统摄取终点 输入激活数据行服务的 IBM Cloud 主机端点 URL。 API 密钥 输入 API 密钥。 有关生成 API 密钥的信息,请参阅 创建 API 密钥 -
单击“保存” 保存详细信息。 单击“编辑”可编辑已保存的详细信息。
-
单击启用启用 Manta Data Lineage。
数据沿袭对启用后启动的新工作有效。 以前和正在进行的工作将不显示数据行。 目前,它支持在 Manta Data Lineage查看 CREATE TABLE AS (CTAS) 和 INSERT INTO SELECT 操作的行。