元数据服务(MDS)
元数据服务是 watsonx.data 的一个组件,充当集中式元数据存储库,在管理和存储表、数据库、分区和其他对象的元数据方面发挥着至关重要的作用。 MDS 作为元数据管理的中心,允许分布式数据生态系统中的不同框架通过一致地使用共享模式定义来访问底层数据。
对于现有的 watsonx.data 实例:对于 Db2、Netezza 和 Analytics Engine 等外部引擎集成,必须将 HMS thrift 端点更改为 MDS thrift 端点。
要为 MDS 中连接池的最大连接数配置池大小,请联系 SRE 或支持团队。
MDS 提供两个交互界面:
Apache Thrift 接口(HMS API)
watsonx.data 中的 Native Spark 和 Presto 等引擎通过 Apache Thrift 接口隐式连接到 MDS,该接口实现了标准的 HMS 功能。 其他 HMS 客户端应用程序(如 Iceberg Hive Catalog 客户端)也可配置为连接到 MDS 的 HMS 接口。 这些 HMS API 可与 MDS 交互,以便
- 检索表或数据库模式。
- 获取分区信息,优化查询执行。
- 添加、更改或删除数据库、表和分区。
REST API 接口
REST API 接口包括来自 Iceberg REST Catalog Open API Spec 和开源 Unity Catalog API Spec 的选定 API。 MDS 还实现了 Iceberg REST Catalog 和 Unity Catalog Open API 规范中的部分 API。 从标准 REST 客户端到 Spark 和 Presto,您都可以利用这些 API。 使用 REST 客户端的好处是可以直接与元数据库交互,而无需使用引擎。 这些 REST 接口还具有与其他外部系统互操作的优势。
有关 Unity 和 Iceberg Catalog REST API 的信息,请参阅 Unity Catalog REST API 和 Iceberg Catalog REST API。