メタデータ・サービス(MDS)
メタデータ・サービスは watsonx.dataのコンポーネントで、集中メタデータ・リポジトリとして機能し、テーブル、データベース、パーティション、その他のオブジェクトのメタデータを管理および保存する重要な役割を果たします。 MDSはメタデータ管理の中心として機能し、分散データエコシステム内のさまざまなフレームワークが、共有スキーマ定義を一貫して使用することで、基礎となるデータにアクセスできるようにします。
既存の watsonx.data インスタンスの場合: Db2、 Netezza、 Analytics Engineなどの外部エンジン統合の場合、HMSのスリフトエンドポイントをデータシートのスリフトエンドポイントに変更する必要があります。
データシートの接続プールの最大接続数のプールサイズを設定するには、SREまたはサポートチームにお問い合わせください。
データシートには2つのインターフェイスがある:
Apache Thriftインターフェース(HMS API)
watsonx.dataの Native Sparkや Prestoなどのエンジンは、標準的なHMS関数を実装した Apache Thriftインターフェイスを通じて、データシートに暗黙的に接続されている。 Iceberg Hive Catalogクライアントなどの他のHMSクライアントアプリケーションも、データシートのHMSインターフェイスに接続するように設定できます。 これらのHMS APIは、データシートとのインタラクションを可能にする:
- テーブルまたはデータベースのスキーマを取得する。
- 最適化されたクエリ実行のためのパーティション情報を取得します。
- データベース、テーブル、パーティションの追加、変更、削除。
REST APIインターフェース
REST APIインターフェースには、Iceberg REST Catalog Open API SpecおよびOpen Source Unity Catalog API Specから選択されたAPIが含まれています。 MDSはまた、Iceberg REST CatalogおよびUnity Catalog Open API仕様から選択したAPIを実装しています。 標準的なRESTクライアントからSparkや Prestoまで、これらのAPIを活用することができる。 RESTクライアントを使用すると、エンジンを使わずにメタストアと直接やり取りできるという利点がある。 これらのRESTインターフェイスは、他の外部システムとの相互運用性にもメリットがある。
UnityカタログREST APIおよびIcebergカタログREST APIについては、 UnityカタログREST APIおよびIcebergカタログREST API を参照してください。