Servizio di metadati (MDS)

Il Servizio metadati è un componente di watsonx.data che funge da repository centralizzato dei metadati e svolge un ruolo cruciale nella gestione e archiviazione dei metadati per tabelle, database, partizioni e altri oggetti. L'MDS funge da centro per la gestione dei metadati che consente a diversi framework in un ecosistema di dati distribuiti di accedere ai dati sottostanti utilizzando definizioni di schema condivise in modo coerente.

Per le istanze esistenti watsonx.data: Per le integrazioni di motori esterni come Db2, Netezza e Analytics Engine, è necessario cambiare l'endpoint HMS thrift in MDS thrift endpoint.

Per configurare la dimensione del pool per il numero massimo di connessioni in un pool di connessioni in MDS, contattare il SRE o il team di supporto.

L'MDS offre due interfacce per l'interazione:

Interfaccia Apache Thrift (API HMS)

Motori come Native Spark e Presto in watsonx.data sono implicitamente collegati a MDS attraverso l'interfaccia Apache Thrift, che implementa le funzioni HMS standard. Anche altre applicazioni client HMS, come il client Iceberg Hive Catalog, possono essere configurate per connettersi all'interfaccia HMS di MDS. Queste API HMS consentono di interagire con l'MDS per:

  • Recupera gli schemi delle tabelle o dei database.
  • Ottenere informazioni sulla partizione per ottimizzare l'esecuzione delle query.
  • Aggiungere, modificare o eliminare database, tabelle e partizioni.

Interfaccia API REST

L'interfaccia API REST include API selezionate da Iceberg REST Catalog Open API Spec e Open Source Unity Catalog API Spec. MDS implementa anche alcune API selezionate dalle specifiche Iceberg REST Catalog e Unity Catalog Open API. È possibile sfruttare queste API da client REST standard a Spark e Presto. L'uso di REST Client ha il vantaggio di interagire direttamente con il metastore senza un motore. Queste interfacce REST offrono vantaggi di interoperabilità anche con altri sistemi esterni.

Per informazioni su Unity e Iceberg Catalog REST API, vedere Unity Catalog REST API e Iceberg Catalog REST API.