Integrazione con IBM Manta Data Lineage

L'integrazione di Manta con watsonx.data consente di acquisire e pubblicare lavori, esecuzioni ed eventi di dataset da Spark e Presto attraverso l'interfaccia utente di Manta, fornendo una visibilità completa dei flussi di dati e delle trasformazioni.

Prima di iniziare

  • Creare una definizione di origine dati e una connessione OpenLineage.
  • Creare un'importazione di metadati OpenLineage nel progetto ed eseguirla.

Per ulteriori informazioni, vedere Preparazione dei dati per IBM Manta Data Lineage.

Procedura

  1. Accedere alla console watsonx.data.

  2. Dal menu di navigazione, andare su Configurazioni > IBM Manta Data Lineage.

  3. Inserire i seguenti dati:

    Integrazione di IBM Manta Data Lineage
    Campo Descrizione
    Endpoint di ingestione del lignaggio Inserire l' URL dell'endpoint dell'host IBM Cloud in cui è attivato il servizio di lineage dei dati.
    chiave API Inserire la chiave API. Per informazioni sulla generazione di una chiave API, vedere Creazione di una chiave API

  4. Fare clic su Salva per salvare i dettagli. È possibile modificare i dettagli salvati facendo clic su Modifica.

  5. Fare clic su Abilita per abilitare Manta Data Lineage.

L'allineamento dei dati ha effetto per i nuovi lavori avviati dopo l'abilitazione. I lavori precedenti e quelli in corso non visualizzeranno la cronologia dei dati. Attualmente, supporta la visualizzazione dei lignaggi per le operazioni CREATE TABLE AS (CTAS) e INSERT INTO SELECT in Manta Data Lineage.

Cosa fare successivamente