Service de métadonnées (MDS)

Le service de métadonnées est un composant de watsonx.data qui agit comme un référentiel centralisé de métadonnées et joue un rôle crucial dans la gestion et le stockage des métadonnées pour les tables, les bases de données, les partitions et d'autres objets. Le MDS est le centre de gestion des métadonnées qui permet aux différents cadres d'un écosystème de données distribuées d'accéder aux données sous-jacentes en utilisant de manière cohérente des définitions de schémas partagés.

Pour les instances existantes watsonx.data: Pour les intégrations de moteurs externes comme Db2, Netezza, et Analytics Engine, vous devez changer le point d'arrivée HMS thrift en point d'arrivée MDS thrift.

Pour configurer la taille du pool pour le nombre maximum de connexions dans un pool de connexion dans MDS, contactez le SRE ou l'équipe d'assistance.

MDS offre deux interfaces d'interaction :

Interface Apache Thrift (API HMS)

Les moteurs tels que Native Spark et Presto dans watsonx.data sont implicitement connectés à MDS par l'intermédiaire de l'interface Apache Thrift, qui met en œuvre les fonctions HMS standard. D'autres applications client HMS, telles que le client Iceberg Hive Catalog, peuvent également être configurées pour se connecter à l'interface HMS de MDS. Ces API HMS permettent d'interagir avec le MDS pour :

  • Récupérer des schémas de tables ou de bases de données.
  • Obtenir des informations sur les partitions pour optimiser l'exécution des requêtes.
  • Ajouter, modifier ou supprimer des bases de données, des tables et des partitions.

Interface API REST

L'interface API REST comprend des API sélectionnées dans la spécification API ouverte du catalogue REST d'Iceberg et la spécification API du catalogue Unity Open Source. MDS met également en œuvre certaines API du catalogue REST d'Iceberg et de la spécification de l'API ouverte du catalogue Unity. Vous pouvez exploiter ces API à partir de clients REST standard vers Spark et Presto. L'utilisation du client REST présente l'avantage d'interagir directement avec le métastore sans moteur. Ces interfaces REST offrent également des avantages en termes d'interopérabilité avec d'autres systèmes externes.

Pour plus d'informations sur Unity et Iceberg Catalog REST API, voir Unity Catalog REST API et Iceberg Catalog REST API.