스토리지 추가
IBM® watsonx.data에서 데이터는 인스턴스 프로비저닝 중에 생성된 내부 스토리지 또는 외부에서 관리되는 스토리지에 저장됩니다. 카탈로그를 스토리지와 연결할 수 있습니다. 카탈로그는 스토리지의 스키마와 메타데이터를 정의합니다.
자체 저장소 버킷 또는 데이터 소스를 추가하거나 watsonx.data의 쿼리 엔진을 통해 이러한 데이터 소스의 데이터를 쿼리하는 경우, 서비스 제공업체에 따라 이러한 소스에서 데이터를 가져오는 데 대한 이그레스 요금이 적용될 수 있습니다. 관리 서비스를 사용 중인 경우, 이러한 요금에 대한 세부사항은 서비스 제공자의 문서 또는 지원을 참조하십시오.
대기 시간 문제를 줄이려면 watsonx.data 인스턴스가 프로비저닝되는 지역에서 추가 스토리지 버킷 또는 데이터베이스를 배치하는 것이 좋습니다.
스토리지를 추가하려면 다음 단계를 완료하세요:
- watsonx.data 콘솔에 로그인하십시오.
- 탐색 메뉴에서 인프라 관리자를 선택합니다.
- 스토리지를 정의하고 연결하려면 컴포넌트 추가를 클릭합니다.
- 컴포넌트 추가 창의 스토리지 섹션에서 스토리지를 선택하고 연결을 설정하기 위한 세부 정보를 입력합니다.
Hadoop 분산 파일 시스템( HDFS )은 Milvus 에서 지원되지 않습니다.
watsonx.data 는 다음과 같은 데이터 저장 옵션을 지원합니다:
-
스토리지에 대해 사용자가 등록한 버킷의 엔드포인트, 액세스 키 및 비밀 키를 수정할 수 있습니다. 이 기능은 사용자가 등록한 버킷에만 사용할 수 있으며 기본 버킷, ADLS 또는 Google Cloud Storage에는 적용되지 않습니다. 이 기능은 새 자격 증명이 테스트 연결을 성공적으로 통과한 경우에 사용할 수 있습니다. 세부 정보를 수정하려면 엔진에서 저장소 연결을 해제해야 합니다.
중요한 메시지
- 스토리지 버킷 이름은 고유해야 하며 A-Z, a-z, 0-9및 하이픈 (-) 문자만 포함해야 합니다.
- 스키마가 스토리지 버킷에 기록되므로
Writer역할의 서비스 신임 정보를 사용해야 합니다. 버킷이 허용하는 액세스 유형과 일치하는 엔드포인트를 선택했는지 확인하십시오. 즉, 버킷에 대한 공용 액세스가 허용되지 않으면 (공용 액세스 가 아니오인 경우) 직접 엔드포인트를 선택하십시오.
커넥터에 대한 추가 정보
- 을 위한빙산 커넥터:
- 다음을 사용하여 테이블에서 데이터를 삭제할 수 있습니다.
DELETE FROM에 대한 진술빙산 커넥터. - 쓰기 시 복사 모드 또는 읽기 시 병합 모드(기본값)를 사용하여 새 테이블에 대해 테이블 속성 delete_mode를 지정할 수 있습니다.
- 다음을 사용하여 테이블에서 데이터를 삭제할 수 있습니다.
- 을 위한
DELETE FROM에 대한 진술빙산 커넥터:- 필터링된 열은 EQUALS, LESS THAN 또는 LESS THAN EQUALS와 같은 비교 연산자만 지원합니다.
- 삭제는 최신 스냅샷에서만 발생해야 합니다.
- V1 테이블의 경우, Iceberg 커넥터는 하나 이상의 전체 파티션에서만 데이터를 삭제할 수 있습니다. 필터의 열은 모두 대상 테이블의 ID 변환 파티션 열이어야 합니다.
- 을 위한
CREATE TABLE,빙산 커넥터 지원sorted_by테이블 속성.- 테이블을 생성할 때 관련된 하나 이상의 열 배열을 지정합니다.
- 을 위한빙산 커넥터,
ALTER TABLE열에 대한 작업은 다음의 데이터 유형 변환을 지원합니다.INT-BIGINTFLOAT-DOUBLEDECIMAL(num1, dec_digits) ~DECIMAL(num2, dec_digits), 여기서num2>num1.
제한사항
- 테이블을 포함한 완전한 메타데이터 동기화를 위해 ADLS Gen1 및 ADLS Gen2 스토리지에 별도의 컨테이너와 스토리지 계정을 사용하세요. 그렇지 않으면 동기화가 완료되면 동기화 로그에 부분 성공 메시지가 나타납니다.
SQL 문의 제한사항
- 아이스버그 커넥터의 경우 하위 쿼리가 있는
UPDATE쿼리는 지원되지 않습니다. - Iceberg 커넥터의 경우 대/소문자 혼용 열이 있는
UPDATE쿼리는 지원되지 않습니다. - 을 위한빙산,메모리 그리고 Hive 커넥터,
DROP SCHEMA할수있다RESTRICT기본적으로. - 데이터베이스 기반 카탈로그의 경우
CREATE SCHEMA,CREATE TABLE,DROP SCHEMA,DROP TABLE,DELETE,DROP VIEW,ALTER TABLE, 그리고ALTER SCHEMA명세서는 다음에서 사용할 수 없습니다.데이터 관리자 UI.
데이터 유형에 대한 제한 사항
- 을 위한빙산 커넥터에 따르면 FLOAT 및 DOUBLE 데이터 유형의 열에 수용될 수 있는 최대 자릿수는 37입니다. 더 큰 것을 삽입하려고 하면 소수 오버플로 오류가 발생합니다.
- 데이터 유형의 필드
REAL소수점 이하 자릿수가 6자리 이상이고 그 자리가 대부분 0인 경우, 쿼리된 값은 반올림됩니다. 값의 정밀도에 따라 반올림이 다르게 발생하는 것으로 관찰됩니다. 예를 들어, 십진수1.654 소수점 이하 3자리로 반올림해도 동일합니다. 또 다른 예는10.890009 그리고10.89000. 주목되는 점은10.89000 반올림됩니다10.89, 반면10.89009 반올림되지 않습니다. 이는 이진 부동 소수점 형식의 표현 제한으로 인해 본질적인 문제입니다. 이는 쿼리에 정렬이 포함될 때 상당한 영향을 미칠 수 있습니다.
대소문자 혼합 기능 플래그 동작, 지원되는 SQL 문 및 지원되는 데이터 유형 행렬에 대한 자세한 내용은 다음을 참조하세요.지원 내용.
관련 API
관련 API에 대한 정보는 다음을 참조하십시오