Metadaten-Dienst (MDS)

Der Metadatendienst ist eine Komponente von watsonx.data, die als zentrales Metadaten-Repository fungiert und eine entscheidende Rolle bei der Verwaltung und Speicherung von Metadaten für Tabellen, Datenbanken, Partitionen und andere Objekte spielt. MDS fungiert als Zentrum für das Metadatenmanagement, das es verschiedenen Frameworks in einem verteilten Datenökosystem ermöglicht, durch die konsistente Verwendung gemeinsamer Schemadefinitionen auf die zugrunde liegenden Daten zuzugreifen.

Für bestehende watsonx.data: Für externe Engine-Integrationen wie Db2, Netezza und Analytics Engine müssen Sie den HMS-Thrift-Endpunkt in einen MDS-Thrift-Endpunkt ändern.

Um die Poolgröße für die maximale Anzahl von Verbindungen in einem Verbindungspool in MDS zu konfigurieren, wenden Sie sich an den SRE oder das Support-Team.

MDS bietet zwei Schnittstellen für die Interaktion:

Apache Thrift-Schnittstelle (HMS-APIs)

Engines wie Native Spark und Presto in watsonx.data sind implizit mit MDS über die Apache Thrift-Schnittstelle verbunden, die die Standard-HMS-Funktionen implementiert. Andere HMS-Client-Anwendungen wie der Iceberg Hive Catalog-Client können ebenfalls so konfiguriert werden, dass sie sich mit der HMS-Schnittstelle von MDS verbinden. Diese HMS-APIs ermöglichen die Interaktion mit dem MDS, um:

  • Abrufen von Tabellen- oder Datenbankschemata.
  • Abrufen von Partitionsinformationen für eine optimierte Abfrageausführung.
  • Hinzufügen, Ändern oder Löschen von Datenbanken, Tabellen und Partitionen.

REST-API-Schnittstelle

Die REST-API-Schnittstelle umfasst ausgewählte APIs aus der Iceberg REST Catalog Open API Spec und der Open Source Unity Catalog API Spec. MDS implementiert auch ausgewählte APIs aus dem Iceberg REST Catalog und Unity Catalog Open API spec. Sie können diese APIs von Standard-REST-Clients bis hin zu Spark und Presto nutzen. Die Verwendung des REST-Client hat den Vorteil, dass er direkt mit dem Metaspeicher interagiert, ohne dass eine Engine benötigt wird. Diese REST-Schnittstellen bieten auch Vorteile bei der Interoperabilität mit anderen externen Systemen.

Für Informationen über die Unity und Iceberg Catalog REST API, siehe Unity Catalog REST API und Iceberg Catalog REST API.