메타데이터 서비스(MDS)
메타데이터 서비스는 중앙 집중식 메타데이터 저장소 역할을 하며 테이블, 데이터베이스, 파티션 및 기타 객체의 메타데이터를 관리하고 저장하는 데 중요한 역할을 하는 watsonx.data 구성 요소입니다. MDS는 분산 데이터 에코시스템의 다양한 프레임워크가 공유 스키마 정의를 일관되게 사용하여 기본 데이터에 액세스할 수 있도록 하는 메타데이터 관리의 중심 역할을 합니다.
기존 watsonx.data 인스턴스의 경우: Db2, Netezza 및 Analytics Engine 같은 외부 엔진 통합의 경우, HMS 중고품 엔드포인트를 MDS 중고품 엔드포인트로 변경해야 합니다.
MDS에서 연결 풀의 최대 연결 수에 대한 풀 크기를 구성하려면 SRE 또는 지원팀에 문의하세요.
MDS는 상호 작용을 위한 두 가지 인터페이스를 제공합니다:
Apache 중고품 인터페이스(HMS API)
watsonx.data Native Spark 및 Presto 같은 엔진은 표준 HMS 기능을 구현하는 Apache 중고품 인터페이스를 통해 암시적으로 MDS에 연결됩니다. 아이스버그 Hive 카탈로그 클라이언트와 같은 다른 HMS 클라이언트 애플리케이션도 MDS의 HMS 인터페이스에 연결하도록 구성할 수 있습니다. 이러한 HMS API를 통해 MDS와 상호 작용할 수 있습니다:
- 테이블 또는 데이터베이스 스키마를 검색합니다.
- 최적화된 쿼리 실행을 위해 파티션 정보를 가져옵니다.
- 데이터베이스, 테이블 및 파티션을 추가, 변경 또는 삭제합니다.
REST API 인터페이스
REST API 인터페이스에는 Iceberg REST 카탈로그 오픈 API 사양 및 오픈 소스 Unity 카탈로그 API 사양에서 엄선된 API가 포함되어 있습니다. 또한 MDS는 Iceberg REST 카탈로그 및 Unity 카탈로그 오픈 API 사양에서 엄선된 API를 구현합니다. 표준 REST 클라이언트에서 Spark 및 Presto 이르기까지 이러한 API를 활용할 수 있습니다. REST 클라이언트를 사용하면 엔진 없이 메타스토어와 직접 상호 작용할 수 있다는 이점이 있습니다. 이러한 REST 인터페이스는 다른 외부 시스템과의 상호 운용성 이점도 제공합니다.
Unity 및 Iceberg 카탈로그 REST API에 대한 자세한 내용은 Unity 카탈로그 REST API 및 Iceberg 카탈로그 REST API를 참조하세요.