Servicio de metadatos (MDS)

Metadata Service es un componente de watsonx.data que actúa como repositorio centralizado de metadatos y desempeña un papel crucial en la gestión y almacenamiento de metadatos para tablas, bases de datos, particiones y otros objetos. El MDS actúa como centro de gestión de metadatos que permite a los distintos marcos de un ecosistema de datos distribuidos acceder a los datos subyacentes mediante el uso coherente de definiciones de esquemas compartidos.

Para instancias existentes watsonx.data: Para integraciones de motores externos como Db2, Netezza y Analytics Engine, debe cambiar el punto final de thrift de HMS por el punto final de thrift de MDS.

Para configurar el tamaño del pool para el número máximo de conexiones en un pool de conexiones en MDS, póngase en contacto con el SRE o con el equipo de soporte.

MDS ofrece dos interfaces de interacción:

Interfaz Apache Thrift (API HMS)

Motores como Native Spark y Presto en watsonx.data están conectados implícitamente a MDS a través de la interfaz Apache Thrift, que implementa las funciones estándar de HMS. Otras aplicaciones cliente HMS, como el cliente Iceberg Hive Catalog, también pueden configurarse para conectarse a la interfaz HMS de MDS. Estas API de HMS permiten interactuar con el MDS para:

  • Recuperar esquemas de tablas o bases de datos.
  • Obtener información sobre particiones para optimizar la ejecución de consultas.
  • Añadir, modificar o eliminar bases de datos, tablas y particiones.

Interfaz API REST

La interfaz REST API incluye API seleccionadas de Iceberg REST Catalog Open API Spec y Open Source Unity Catalog API Spec. MDS también implementa API seleccionadas de las especificaciones Iceberg REST Catalog y Unity Catalog Open API. Puede aprovechar estas API desde clientes REST estándar hasta Spark y Presto. El uso de REST Client tiene la ventaja de interactuar directamente con el metastore sin un motor. Estas interfaces REST también ofrecen ventajas de interoperabilidad con otros sistemas externos.

Para obtener información sobre Unity y la API REST del Catálogo Iceberg, consulte API REST del Catálogo Unity y API REST del Catálogo Iceberg.