Integración con IBM Manta Data Lineage

La integración de Manta con watsonx.data le permite capturar y publicar trabajos, ejecuciones y eventos de conjuntos de datos de Spark y Presto a través de la interfaz de usuario de Manta, proporcionando una visibilidad completa de los flujos de datos y las transformaciones.

Antes de empezar

  • Cree una definición de fuente de datos y una conexión OpenLineage.
  • Cree una importación de metadatos OpenLineage en su proyecto y ejecútela.

Para obtener más información, consulte Preparación de datos para IBM Manta Data Lineage.

Procedimiento

  1. Acceda a la consola watsonx.data.

  2. En el menú de navegación, vaya a Configuraciones > IBM Manta Data Lineage.

  3. Escriba los siguientes detalles:

    Integración de IBM Manta Data Lineage
    Campo Descripción
    Punto final de ingestión de linajes Introduzca la URL del punto final del host IBM Cloud donde se activa el servicio de linaje de datos.
    Clave de API Introduzca la clave API. Para obtener información sobre cómo generar una clave API, consulte Creación de una clave API

  4. Haga clic en Guardar para guardar los detalles. Puede editar los detalles guardados haciendo clic en Editar.

  5. Haga clic en Activar para activar Manta Data Lineage.

El linaje de datos tiene efecto para los nuevos trabajos que se inician después de activarlo. Los trabajos anteriores y en curso no mostrarán el linaje de datos. Actualmente, admite la visualización de linajes para operaciones CREATE TABLE AS (CTAS) e INSERT INTO SELECT en Manta Data Lineage.

Qué hacer a continuación