との統合 Data Product Hub

IBM Data Product Hub (DPH) as a Serviceは、データ作成者とデータ利用者間のデータ製品の共有を合理化するために設計されたセルフサービス・ソリューションである。 この軽量プラットフォームは、SQLクエリーやテーブルなどのデータ資産を、特定のビジネス・ユースケースに対応するデータ製品にパッケージ化する。

DPHと watsonx.data の統合により、データエンジニアは2つのサービス間でシームレスなデータアクセスが可能になる。

データ資産とデータ製品

データ資産には、SQLクエリー、SQLテーブル、MLモデル、BIダッシュボードなどがある。

データ製品は、特定のビジネスユースケースのためにパッケージ化された資産の集合体である。

データ生産者とデータ消費者

データ生産者は、データ資産をデータ製品にパッケージ化し、データ契約を定義し、その製品に消費者がアクセスできるようにする責任がある。

データ消費者は、これらのデータ製品を購読するユーザーである。 データ利用者は、テクニカル・ユーザーでもビジネス・ユーザーでもあり得る。

統合の特徴

  • データソースへのアクセス: DPHは Presto コネクターを通して watsonx.data と接続し、メタデータ情報を使ってデータアセットを作成する。 この統合により、 watsonx.data のデータソースへのアクセシビリティが広がった。 実際のデータ移動を伴わないため、データは安全な方法でパッケージ化される。

    watsonx.data からデータにアクセスするには、以下のようにする：

    1. IBM watsonx.data のデータにアクセスするための接続アセットを作成する。 接続を作成するには、 Presto 接続を 参照してください。

    2. 資産をパッケージ化するデータ製品を作成する。 詳細は、「 ソースから直接データ製品を作成する 」を参照してください。

    3. 消費者が使用するデータ製品を公開する。 詳細については、 データ製品の公開を 参照してください。

  • パラメータ化されたクエリ ：SQLクエリのメタデータ情報を watsonx.data、結果をCSVやParquetなどの形式で配信することができます。

    データ・プロデューサーは、カスタマイズ可能なクエリーでデータ製品を作成することができます。 このようなデータ製品の作成については、 カスタマイズ可能なクエリからデータ製品を作成するを 参照してください。

データ配信方法

  • Flight service: Flight service は、 watsonx.data の様々なデータソースへの読み取りアクセスを提供する。 この納品方法は、テクニカル・データの消費者のみが使用します。 例えば、データサイエンティスト。 テクニカルコンシューマーはJupyter Notebooksを使って、 watsonx.data のデータソースにアクセスするスクリプトを書くことができる。 フライトサービスについては、 フライトサービスを 参照してください。

  • データ抽出 ：ビジネス利用者はデータ精製サービスを利用してCSVデータ抽出ファイルを作成し、ダウンロードする。 データ抽出の配信方法については、 データ抽出の配信方法を 参照してください。

  • watsonx.data のテーブルとして配信: watsonx.data のテーブルとして配信する方法では、コンシューマは watsonx.data のテーブルとしてデータ製品にアクセスできます。 この方法では、適切な権限を持つユーザーが新しいテーブルを作成したり、既存のテーブルに追加したりすることができる。 watsonx.data のテーブルとして配信の詳細については、 Data Product Hub ドキュメントの watsonx.data 配信方法のテーブルとして配信を 参照してください。

    前提条件 ****watsonx.data 配信方法でテーブルとして配信を使用するには、 watsonx.data:

    1. ユーザーは、ターゲットカタログに接続されたSparkエンジンにアクセスできる必要があります。
    2. ユーザーは、 Presto エンジンにアクセスできる必要があります（これは接続を行うためにのみ必要です）。
    3. ユーザーは、フルカタログへのロールを持つターゲットIcebergカタログへのアクセス権、またはカタログの使用許可を与えるアクセスポリシーを持っている必要があります。
    4. ユーザーは、ターゲット・カタログに使用されるストレージへの書き込みアクセス権を持っていなければならない。
    5. ユーザーは Cloud Object Storage にアクセスできなければならない： watsonx.data インスタンスのコンポーネントとして追加する。 参照 IBM Cloud Object Storage. watsonx.data にインジェストされる前に、データ抽出はここに置かれる。

    watsonx.data でのアクセス管理については、 データ・ポリシーの管理を 参照。

  • access in watsonx.data: access in watsonx.data の配信方法では、コンシューマは watsonx.data でデータ製品にアクセスできます。 watsonx.data のアクセスに関する詳細は、 Data Product Hub のドキュメントを 参照のこと。