Integration mit IBM Manta Data Lineage

Durch die Integration von Manta mit watsonx.data können Sie Jobs, Läufe und Datensatzereignisse von Spark und Presto über die Manta-Benutzeroberfläche erfassen und veröffentlichen und so volle Transparenz in Datenflüsse und -transformationen erhalten.

Vorbereitende Schritte

  • Erstellen Sie eine Datenquellendefinition und eine OpenLineage.
  • Erstellen Sie einen OpenLineage in Ihrem Projekt und führen Sie ihn aus.

Weitere Informationen finden Sie unter Vorbereiten von Daten für IBM Manta Data Lineage.

Vorgehensweise

  1. Melden Sie sich bei der Konsole watsonx.data an.

  2. Gehen Sie im Navigationsmenü zu Konfigurationen > IBM Manta Data Lineage.

  3. Geben Sie die folgenden Details ein:

    Integration von IBM Manta Data Lineage
    Feld Beschreibung
    Endpunkt für die Aufnahme der Abstammung Geben Sie die URL IBM Cloud ein, an dem der Datenabgrenzungsdienst aktiviert ist.
    API-Schlüssel Geben Sie den API-Schlüssel ein. Informationen zum Erstellen eines API-Schlüssels finden Sie unter Erstellen eines API-Schlüssels

  4. Klicken Sie auf Speichern, um die Details zu speichern. Sie können die gespeicherten Details bearbeiten, indem Sie auf Bearbeiten klicken.

  5. Klicken Sie auf Aktivieren, um Manta Data Lineage zu aktivieren.

Die Datenabfolge wird für neue Aufträge wirksam, die nach der Aktivierung dieser Funktion gestartet werden. Bei früheren und laufenden Aufträgen wird die Datenreihenfolge nicht angezeigt. Derzeit unterstützt es die Anzeige von Lineages für CREATE TABLE AS (CTAS) und INSERT INTO SELECT Operationen in Manta Data Lineage.

Nächste Schritte

  • Sie können die Datenabfolge für Ihre Assets einsehen. Weitere Informationen finden Sie unter Anzeigen der Datenreihenfolge.
  • Sie können Ihr Verlaufsdiagramm verwalten und anpassen, um eine umfassende Sichtbarkeit und Kontrolle über die Datenpipeline zu erhalten. Weitere Informationen finden Sie unter Verwalten des Datenverlaufsdiagramms.