Intégration avec IBM Manta Data Lineage

L'intégration de Manta avec watsonx.data vous permet de capturer et de publier des travaux, des exécutions et des événements de jeu de données à partir de Spark et Presto à travers l'interface utilisateur de Manta, offrant une visibilité complète sur les flux de données et les transformations.

Avant de commencer

  • Créer une définition de source de données et une connexion OpenLineage.
  • Créez une importation de métadonnées OpenLineage dans votre projet et exécutez-la.

Pour plus d'informations, voir Préparation des données pour IBM Manta Data Lineage.

Procédure

  1. Connectez-vous à la console watsonx.data.

  2. Dans le menu de navigation, allez dans Configurations > IBM Manta Data Lineage.

  3. Entrez les détails suivants :

    Intégration de IBM Manta Data Lineage
    Zone Description
    Point d'arrivée de l'ingestion de la lignée Entrez l' URL du point de terminaison de l'hôte IBM Cloud où le service de lignage de données est activé.
    clé d'API Saisissez la clé API. Pour plus d'informations sur la génération d'une clé API, voir Création d'une clé API

  4. Cliquez sur Enregistrer pour sauvegarder les détails. Vous pouvez modifier les détails enregistrés en cliquant sur Modifier.

  5. Cliquez sur Activer pour activer le Manta Data Lineage.

Le lignage des données prend effet pour les nouveaux travaux qui sont lancés après l'avoir activé. Les travaux antérieurs et en cours n'affichent pas le lignage des données. Actuellement, il prend en charge la visualisation des lignées pour les opérations CREATE TABLE AS (CTAS) et INSERT INTO SELECT dans la Manta Data Lineage.

Etape suivante