元資料服務(MDS)
元資料服務是 watsonx.data 的一個元件,充當集中元資料儲存庫,在管理和儲存表、資料庫、分區和其他物件的元資料方面發揮著至關重要的作用。 MDS 充當元資料管理的中心,允許分散式資料生態系統中的不同框架透過一致地使用共享模式定義來存取底層資料。
對於現有的 watsonx.data 實例:對於 Db2、Netezza 和 Analytics Engine 等外部引擎集成,您必須將 HMS thrift 端點更改為 MDS thrift 端點。
若要為 MDS 中連線池的最大連線數設定池大小,請聯絡 SRE 或支援團隊。
MDS提供了兩個互動介面:
Apache Thrift介面(HMS API)
watsonx.data 中的Native Spark、Presto 等引擎透過 Apache Thrift介面隱含連接到MDS,實現了標準的HMS功能。 其他HMS客戶端應用程式(例如Iceberg Hive Catalog客戶端)也可以設定連接到MDS的HMS介面。 這些 HMS API 支援與 MDS 交互,以便:
- 檢索表格或資料庫模式。
- 取得分區資訊以最佳化查詢執行。
- 新增、變更或刪除資料庫、表格和分割區。
REST API介面
REST API 介麵包括來自 Iceberg REST Catalog Open API Spec 和 Open Source Unity Catalog API Spec 的選定 API。 MDS 也實作了 Iceberg REST Catalog 和 Unity Catalog Open API 規格中選定的 API。 您可以利用從標準 REST 用戶端到 Spark 和 Presto這些 API。 使用 REST 用戶端的好處是無需引擎即可直接與元儲存互動。 這些 REST 介面還提供與其他外部系統的互通性優勢。
有關 Unity 和 Iceberg Catalog REST API 的信息,請參閱 Unity Catalog REST API 和 Iceberg Catalog REST API。