Serviço de metadados (MDS)

O Metadata Service é um componente do watsonx.data que atua como repositório centralizado de metadados e desempenha uma função crucial no gerenciamento e no armazenamento de metadados de tabelas, bancos de dados, partições e outros objetos. O MDS atua como o centro de gerenciamento de metadados que permite que diferentes estruturas em um ecossistema de dados distribuídos acessem os dados subjacentes usando definições de esquemas compartilhados de forma consistente.

Para instâncias watsonx.data existentes: Para integrações de mecanismos externos, como Db2, Netezza e Analytics Engine, você deve alterar o ponto de extremidade do HMS thrift para o ponto de extremidade do MDS thrift.

Para configurar o tamanho do pool para o número máximo de conexões em um pool de conexões no MDS, entre em contato com o SRE ou com a equipe de suporte.

O MDS oferece duas interfaces para interação:

Interface Apache Thrift (APIs do HMS)

Mecanismos como Native Spark e Presto em watsonx.data são implicitamente conectados ao MDS por meio da interface Apache Thrift, que implementa as funções padrão do HMS. Outros aplicativos clientes HMS, como o cliente Iceberg Hive Catalog, também podem ser configurados para se conectar à interface HMS do MDS. Essas APIs do HMS permitem a interação com o MDS para:

  • Recuperar esquemas de tabelas ou bancos de dados.
  • Obter informações de partição para otimizar a execução da consulta.
  • Adicionar, alterar ou eliminar bancos de dados, tabelas e partições.

Interface da API REST

A interface da API REST inclui APIs selecionadas do Iceberg REST Catalog Open API Spec e do Open Source Unity Catalog API Spec. O MDS também implementa APIs selecionadas do Iceberg REST Catalog e da especificação de API aberta do Unity Catalog. Você pode aproveitar essas APIs de clientes REST padrão para o Spark e Presto. O uso do cliente REST tem a vantagem de interagir diretamente com o metastore sem um mecanismo. Essas interfaces REST também oferecem benefícios de interoperabilidade com outros sistemas externos.

Para obter informações sobre a API REST do Unity e do Iceberg Catalog, consulte API REST do Unity Catalog e API REST do Iceberg Catalog.