IBM Manta Data Lineageとの統合

Mantaを watsonx.dataと統合することで、Sparkと Prestoのジョブ、実行、データセットイベントをManta UIでキャプチャして公開し、データフローと変換を完全に可視化することができます。

開始前に

  • データソース定義と OpenLineage 接続を作成します。
  • プロジェクトで OpenLineage メタデータ・インポートを作成し、実行します。

詳細については、 IBM Manta Data Lineage 用のデータの準備 を参照してください。

手順

  1. watsonx.data コンソールにログインする。

  2. ナビゲーション・メニューから、 Configurations > IBM Manta Data Lineage に進みます。

  3. 以下の詳細情報を入力します。

    IBM Manta Data Lineageの統合
    フィールド 説明
    リネージ・インジェスト・エンドポイント データ・リネージ・サービスが有効になっている IBM Cloud ホストのエンドポイント URLを入力します。
    API キー APIキーを入力します。 APIキーの生成については、 APIキーの作成 を参照してください

  4. Saveをクリックして詳細を保存します。 Edit（編集） 」をクリックすると、保存した詳細を編集できます。

  5. Manta Data Lineageを有効にするには、 Enable をクリックします。

データ・リネージは、有効にした後に開始される新しいジョブに対して有効になる。 以前のジョブおよび進行中のジョブには、データの系統は表示されません。 現在、 Manta Data Lineageの CREATE TABLE AS (CTAS) およびINSERT INTO SELECT操作のリネージの表示をサポートしています。

次のタスク

  • 資産のデータ履歴を見ることができます。 詳細については、 データ・リネージ の表示を参照してください。
  • リネージ・グラフを管理・調整することで、データ・パイプラインを包括的に可視化し、コントロールすることができる。 詳細については、 データ系統グラフの管理 を参照。