watsonx.data에 대한 릴리스 정보
이 릴리스 정보를 사용하여 날짜별로 그룹화된 IBM® watsonx.data의 최신 업데이트에 대해 알아보십시오.
IBM Cloud 에서 Gen AI 환경을 제공하는 watsonx.data as a Service의 새로운 기능에 대한 자세한 내용은 IBM Cloud 에서 Gen AI 환경을 제공하는 watsonx.data as a Service 릴리스 노트를 참조하세요.
watsonx.data 온프레미스의 새로운 기능은 watsonx.data 의 릴리스 정보를 참조하세요.
watsonx.data 온프레미스 프리미엄의 새로운 기능에 대해서는 온프레미스 프리미엄의 릴리스 정보를 참조하세요.
2025년 6월 11일 - 버전 2.2
watsonx.data 2.2.0 버전은 단계적으로 출시되며 일부 지역에서는 사용할 수 없습니다. 해당 지역에서 2.2.0 릴리스를 사용할 수 있는지 확인하려면 IBM 지원팀에 문의하세요.
- 엔진 및 서비스 개선 사항
-
이번 watsonx.data 릴리스에서는 다음과 같은 엔진 및 서비스 개선 사항을 소개합니다:
- 프록시 호스트 경로를 사용하여 Milvus 서비스에 연결할 수 있는 새로운 API 버전이 도입되었습니다. 자세한 내용은 Milvus 서비스에 연결하기를 참조하세요.
- Presto (C++) 엔진의 경우 이제 Hive 및 Iceberg 카탈로그에서 지역 구성을 사용할 수 있습니다. 자세한 내용은 Presto(C++)엔진 프로비저닝을 참조하세요.
- 새로운 Gluten 가속 Spark 엔진: 이제 Spark SQL 프레임워크의 높은 확장성과 기본 라이브러리의 고성능을 활용하여 복잡한 분석 워크로드를 실행하는 데 Gluten 가속 Spark 엔진을 프로비저닝하고 이를 사용할 수 있습니다. 새로운 Gluten 가속 스파크 엔진으로 작업하는 방법에 대한 자세한 내용은 Gluten 가속 스파크 엔진으로 작업하기를 참조하세요.
- Spark 작업을 사용해 Iceberg 테이블 데이터를 변환하여 더 빠른 작업 공간 쿼리를 실행하세요: Iceberg 테이블 읽기 속도를 높이기 위해 이제 Spark 작업을 사용하여 Iceberg 테이블 데이터를 읽기 시 병합(MOR) 형식에서 쓰기 시 복사(COW) 형식으로 변환할 수 있습니다. 자세한 내용은 MoR 에서 CoW 로의 변환을 위한 스파크 작업 제출하기를 참조하세요.
- CPDCTL CLI 개선 사항
-
이번 릴리스( watsonx.data )에서는 IBM Cloud Pak for Data 명령줄 인터페이스( IBM cpdctl)에 다음과 같은 개선 사항이 도입되었습니다:
-
Tablemaint 명령을 사용하여 watsonx.data 에서 다양한 Iceberg 테이블 유지 관리 작업을 실행할 수 있습니다.
-
CPDCTL API 기능을 사용하여 나열할 수 있는 애플리케이션의 제한과 애플리케이션을 필터링하는 데 사용할 수 있는 필터 기준을 구성할 수 있습니다.
-
Wx-data service 명령을 사용하여 테이블 나열, QHMM 사용 버킷 목록 검색, QHMM 관련 통계 및 쿼리 모니터링 등 다양한 서비스 가능성 관련 작업을 수행할 수 있습니다.
자세한 내용은 IBM cpdctl을 참조하세요.
-
- 통합 개선사항
-
이번 watsonx.data 릴리스에서는 다음과 같이 다른 서비스와의 통합 기능이 향상되었습니다:
- 새로운 배달 방법: 다음에서 테이블로 배달 watsonx.data
이제 지원되는 데이터 원본을 사용하는 데이터 제품은 watsonx.data 메서드에서 테이블로 전달을 사용하여 watsonx.data 테이블 인스턴스로 전달할 수 있습니다. 이 방법을 사용하면 적절한 권한이 있는 사용자가 새 테이블을 만들거나 기존 테이블에 추가할 수 있습니다. 자세한 내용은 Data Product Hub 와 통합하기 를 참조하세요.
- 새로운 배송 방법: 액세스 watsonx.data
이제 watsonx.data 전달 방법에서 액세스하여 watsonx.data 인스턴스에서 생성된 데이터 제품을 구독할 수 있습니다. 이 방법을 사용하면 소비자가 Data Product Hub 을 통해 watsonx.data 리소스에 직접 액세스할 수 있습니다. 배송 후 소비자는 watsonx.data 인스턴스에 액세스하는 방법과 액세스할 수 있는 특정 리소스에 대한 세부 정보를 확인할 수 있습니다. 자세한 내용은 Data Product Hub 와 통합하기 를 참조하세요.
-
이제 다음과 같은 방법으로 Spark 쿼리 서버에 연결하여 쿼리를 실행하여 데이터를 분석할 수 있습니다.
- DBeaver 사용 ( JDBC 클라이언트)
- Java ( JDBC 클라이언트) 코드 사용
- Python 사용 ( PyHive JDBC 클라이언트)
자세한 내용은 Spark JDBC 드라이버를 사용하여 Spark 쿼리 서버에 연결하기를 참조하세요.
- 청구 개선 사항
-
이번 watsonx.data 릴리스에서는 청구 기능에 다음과 같은 개선 사항이 도입되었습니다:
- 청구 세분화: 이제 사용자는 청구 내역서를 항목별 형식으로 볼 수 있어 더욱 세분화되고 투명하게 확인할 수 있습니다
- 청구 정확도: 이제 사용자 청구 사용량이 이전의 하이 워터마크 방식 대신 분당 단위로 추적됩니다
- 쿼리 기록 모니터링 및 관리(QHMM) 개선 사항
-
이번 릴리스( watsonx.data )에서는 다음과 같은 QHMM 개선 사항을 소개합니다:
쿼리 모니터링 페이지는 빠른 시작 마법사 설정에서 제거되고 버킷 구성 페이지와 통합됩니다. 이제 빠른 시작 마법사에서 제공되는 업데이트된 버킷 구성 페이지에서 직접 QHMM 스토리지 세부 정보를 활성화, 비활성화, 구성할 수 있습니다. 업데이트된 빠른 시작 마법사 설정에 대한 자세한 내용은 빠른 시작을 참조하세요.
- 데이터 소스 및 저장소 개선 사항
-
이번 릴리스( watsonx.data )에는 다음과 같은 스토리지 개선 사항이 포함되어 있습니다:
이제 NTLM(New Technology LAN Manager) 인증 및 Microsoft Entra 인증과 함께 SQL Server 을 사용할 수 있습니다. NTLM은 Windows 기반 챌린지-응답 인증 방식입니다. 자세한 내용은 SQL Server.
- 액세스 관리 개선 사항
-
이번 watsonx.data 릴리스에는 다음과 같은 액세스 관리 개선 사항이 도입되었습니다:
- 내보내기 기능을 사용하여 기존 리소스 정책을 다운로드하고 필요한 다른 환경으로 가져올 수 있습니다. 이는 일관성을 보장하고 원활한 마이그레이션을 돕습니다. 가져오기 내보내기 기능을 사용하는 방법에 대한 자세한 내용은 사용자 액세스 관리하기를 참조하세요.
- 이제 카탈로그 관리자 또는 관리자 역할이 있는 그룹에 속한 사용자는 카탈로그에 대한 액세스 권한을 제거할 수 있습니다. 컴포넌트에 대한 사용자를 제거하는 방법에 대한 자세한 내용은 사용자 액세스 관리하기를 참조하세요.
- 관리자가 아닌 사용자는 읽기 전용 액세스 권한이 있으며 이제 구성 섹션에서 드라이버 관리자 페이지를 볼 수 있습니다. 이를 통해 관리자와 상담할 필요 없이 활성 드라이버 목록과 세부 정보를 확인할 수 있습니다. 자세한 내용은 드라이버 관리자를 참조하세요.
- 감사 및 추적 개선 사항
-
이번 릴리스( watsonx.data )에서는 다음과 같은 감사 및 추적 기능이 개선되었습니다:
이제 추적 가능한 이벤트 목록에는 애플리케이션과 사용자가 이러한 중요한 구성 요소와 상호 작용하는 방식에 대한 인사이트를 제공하는 MDS 중고품 서버 및 MDS Rest 서버와 관련된 세부 활동이 포함됩니다. 자세한 내용은 MDS Thrift 서버 이벤트 및 MDS Rest 서버 이벤트를 참조하세요.
- 더 이상 사용되지 않는 기능
-
이번 릴리스에서는 다음 기능이 더 이상 지원되지 않습니다:
-
REST 호스트를 사용하는 Milvus API( /api/v1 접두사가 붙은 API)는 watsonx.data v2.2 으로 더 이상 사용되지 않습니다.
-
Azure 데이터 레이크 스토리지(ADLS( Gen1 )는 이제 더 이상 사용되지 않으며 다음 릴리스에서 제거될 예정입니다. ADLS Gen1 을 사용할 수 없으므로 ADLS Gen2 로 전환해야 합니다.
-
Ibmlhapikey 및 ibmlhtoken을 사용자 이름으로 사용하는 사용자 인증 방법은 이제 더 이상 사용되지 않으며 향후 릴리스에서 제거될 예정입니다. 대신 ibmlhapikey_username 및 ibmlhtoken_username을 사용할 수 있습니다. 자세한 내용은 watsonx.data 에서 액세스 관리 및 거버넌스를 참조하세요.
-
2025년 4월 10일 - 버전 2.1.2 핫픽스 1
- 엔진 및 서비스 개선 사항
-
이번 watsonx.data 릴리스에서는 다음과 같은 서비스 개선 사항을 소개합니다:
실험 및 초기 단계 개발에 적합한 Milvus 벡터 데이터베이스의 경량 단일 노드 배포판인 Tiny Milvus 를 출시했습니다.
Tiny Milvus 는 핵심 Milvus 경험을 제공하며 watsonx.ai 플랫폼 내에서 사용하도록 특별히 설계되었습니다. 효과적인 데이터 관리 및 분석을 위해 최소한의 리소스로 벡터 기반 AI 탐색을 위한 진입점 역할을 합니다. 이는 더 광범위한 확장성과 엔터프라이즈급 기능을 지원하는 watsonx.data 에서 제공되는 다른 Milvus 구성과 구별됩니다.
Tiny Milvus 는 최대 10K 벡터를 지원하므로 무거운 인프라 없이도 빠른 시험과 초기 실험에 적합합니다. 프로덕션 워크로드용이 아닙니다.
Tiny 사용에 대한 자세한 내용은 Milvus, watsonx.data Milvus 벡터 스토어 설정을 참조하세요.
2025년 4월 4일 - 버전 2.1.2
watsonx.data 2.1.2 버전은 여러 지역에 단계적으로 출시되고 있으며 일부 지역에서는 사용할 수 없습니다. 해당 지역에서 2.1.2 릴리스를 사용할 수 있는지 확인하려면 IBM 지원팀에 문의하세요. 현재 watsonx.data 2.1.1 버전을 사용 중인 경우 문서를 참조할 수 있습니다, watsonx.data 2.1.1.
- 데이터 소스 및 저장소 개선 사항
-
이번 릴리스( watsonx.data )에는 다음과 같은 스토리지 개선 사항이 포함되어 있습니다:
이제 다음에 연결할 수 있습니다 IBM Db2 for i 데이터 소스에 연결할 수 있습니다. 에 대한 자세한 내용은 IBM Db2 for i 에 대한 자세한 내용은 IBM Db2 for i.
- 연결성 향상
-
이번 릴리스( watsonx.data )에는 다음과 같은 연결성 개선 사항이 포함되어 있습니다:
이제 가상 비공개 엔드포인트를 사용하여 watsonx.data 인스턴스에 안전하게 비공개로 연결할 수 있습니다. 네트워크 엔드포인트 구성에 대한 자세한 내용은 watsonx.data 에서 가상 사설 엔드포인트 설정을 참조하세요.
- 통합 개선사항
-
watsonx.data 의 이번 버전에서는 다음과 같은 다른 서비스와의 통합 기능이 향상되었습니다
- 이제 watsonx.data 와 통합할 때 Presto (C++) 엔진에 대한 IBM Knowledge Catalog 거버넌스 정책을 정의할 수 있습니다. IBM Knowledge Catalog (IKC)에 연결하는 방법에 대한 자세한 내용은 IBM Knowledge Catalog(IKC)에 연결하기를 참조하세요.
- 이제 대상 Presto 엔진의 설정 파일을 ODBC 드라이버 선택(Simba 또는 CData)에 따라 내보내 watsonx.data 와의 연결을 더 쉽게 설정할 수 있습니다. 이 개선 사항으로 PowerBI 을 사용하여 Presto 엔진 세부 정보를 수동으로 구성하지 않아도 됩니다. 구성 파일을 사용하여 Presto 에 연결하는 방법에 대한 자세한 내용은 구성 파일을 사용하여 Presto 에 연결하기를 참조하세요.
- Data Product Hub 와 통합: watsonx.data 을 DPH 와 통합하여 특정 사용 사례에 맞는 데이터 제품으로 SQL 테이블 및 쿼리를 패키지화할 수 있습니다. 자세한 내용은 Data Product Hub 와 통합하기 를 참조하세요.
- 섭취 향상
-
이번 watsonx.data 릴리스에는 다음과 같은 인제스트 개선 사항이 포함되어 있습니다:
이제 외부 Spark 엔진을 사용하는 수집 작업은 watsonx.data 에서 로그를 제공합니다. 이 향상된 기능을 통해 사용자는 watsonx.data 온 클라우드 플랫폼( SaaS 인스턴스) 내에서 직접 작업 실행을 효과적으로 식별하고 문제를 해결할 수 있습니다. 수집 절차에 대한 자세한 내용은 웹 콘솔을 통해 Spark를 사용하여 데이터 수집 하기에서 확인할 수 있습니다.
- 엔진 및 서비스 개선 사항
-
이번 watsonx.data 릴리스에서는 다음과 같은 엔진 및 서비스 개선 사항을 소개합니다:
이제 Azure 데이터 레이크 스토리지 Gen2 와 AccessKey Authmode with Spark 엔진을 사용하여 Spark 애플리케이션을 제출하는 동안 데이터를 저장할 수 있습니다. Azure 데이터 레이크 스토리지 Gen2 에 대한 자세한 내용은 Azure 데이터 레이크 스토리지를 참조하세요.
- 쿼리 작업 영역 개선 사항
-
이번 watsonx.data 릴리스에서는 다음과 같은 쿼리 작업 영역 개선 사항이 도입되었습니다:
이제 실행 중인 쿼리를 하나 또는 여러 개 취소할 수 있는 옵션이 생겼습니다. 또한 쿼리가 취소되거나 성공적으로 완료된 후에는 워크시트에서 쿼리를 제거할 수 있으므로 작업 공간을 더욱 깔끔하게 정리할 수 있습니다. 자세한 내용은 SQL 쿼리 실행하기를 참조하세요.
- 액세스 관리 개선 사항
-
이번 watsonx.data 릴리스에는 다음과 같은 액세스 관리 개선 사항이 도입되었습니다:
- 관리자는 이제 IBM Db2 및 IBM Netezza 에 대한 액세스를 구성할 수 있습니다. watsonx.data 사용자에게 IBM Netezza 및 IBM Db2 엔진을 보고, 편집하고, 관리할 수 있는 역할을 할당할 수 있습니다. 리소스 수준 권한에 대한 자세한 내용은 (Db2 및 Netezza )을 참조하세요.
- 이제 관리자는 자체 스키마를 만들고 볼 때 사용자 또는 역할에 특정 권한을 부여하거나 취소할 수 있습니다. 데이터 정책 규칙에 대한 자세한 내용은 데이터 정책 규칙 관리하기를 참조하세요.
- 이전에 사용되지 않던 DAS 프록시 흐름은 이제 제거되었으며 watsonx.data 에서 더 이상 사용할 수 없습니다.
- 쿼리 기록 모니터링 및 관리(QHMM) 개선 사항
-
이번 릴리스( watsonx.data )에서는 다음과 같은 QHMM 개선 사항을 소개합니다:
- 이제 watsonx.data 에서 쿼리 모니터링을 구성할 때 QHMM 카탈로그에 연결된 Presto 엔진을 선택할 수 있습니다. QHMM 구성에 대한 자세한 내용은 쿼리 모니터링 구성을 참조하세요.
- 이제 마이그레이션 스크립트를 사용하여 소스 버킷에서 watsonx.data 의 대상 버킷으로 QHMM 데이터를 전송할 수 있습니다. 마이그레이션 스크립트 사용에 대한 자세한 내용은 QHMM 셸 스크립트 사용법을 참조하세요.
- CPDCTL CLI 개선 사항
-
이번 릴리스( watsonx.data )에서는 IBM Cloud Pak for Data 명령줄 인터페이스( IBM cpdctl)에 다음과 같은 개선 사항이 도입되었습니다:
- 버전 2.1.2 부터는
wx-data
명령이 기본적으로 제공되어 watsonx.data 에서 수집, 엔진 관리 등의 작업을 수행할 수 있습니다. wx-data engine create
및wx-data engine delete
명령을 사용하여 watsonx.data 에서 사용 가능한 모든 엔진을 프로비저닝하고 삭제할 수 있습니다.sparkjob
명령을 사용하여 스파크 애플리케이션을 제출하고, 나열하고, 세부 정보를 확인할 수 있습니다.INSTANCE_ID
인스턴스 환경 설정에 사용되는WX_DATA_INSTANCE_ID
로 대체됩니다.
자세한 내용은 IBM cpdctl을 참조하세요.
- 버전 2.1.2 부터는
2025년 2월 28일 - 버전 2.1.1
- 새로운 지역 가용성
-
watsonx.data 이제 토론토 지역에서 라이트와 엔터프라이즈 플랜을 이용할 수 있습니다. 프로비전을 보려면, 프로비저닝 watsonx.data 라이트 플랜 과 프로비저닝 watsonx.data 엔터프라이즈 플랜을 참조하세요.
- 데이터 소스 및 저장소 개선 사항
-
watsonx.data 의 이번 버전에는 다음과 같은 저장 공간 개선 사항이 포함되어 있습니다
-
이제 다음 데이터 소스와 저장소의 연결을 테스트할 수 있습니다
- Apache Phoenix
- IBM Data Virtualization Manager
- BigQuery
- Google Cloud Storage
-
이제 Register table 및 load table metadata API를 사용하여 객체 저장소에 기존 외부 Hudi 및 Delta 테이블을 등록하고 로드할 수 있습니다.
-
- 섭취 향상
-
인제스트 작업이 완료된 후에는 인제스트 기록 페이지 에서 직접 인제스트된 데이터에 액세스할 수 있으므로, 작업 흐름이 간소화되고 시간이 절약됩니다.
- 통합 개선사항
-
watsonx.data 의 이번 버전에서는 다음과 같은 다른 서비스와의 통합 기능이 향상되었습니다
- 연결 정보 페이지 에는 이제 다음이 포함됩니다:
- Presto dBT 통합을 위한 구성 세부 사항. 이 페이지에서 DBT 통합에 필요한 Presto 의 구성 세부 사항을 복사할 수 있습니다.
- Tableau 통합에 필요한 TDS 파일( Presto 엔진 구성 세부 정보가 포함된 파일)을 내보낼 수 있는 옵션.
자세한 내용은 연결 정보 가져오기 를 참조하세요.
- 연결 정보 페이지 에는 이제 다음이 포함됩니다:
- 엔진 및 서비스 개선 사항
-
이번 watsonx.data 릴리스에서는 다음과 같은 엔진 및 서비스 개선 사항을 소개합니다:
- 이제 스파크 엔진 상세 정보 페이지의 애플리케이션 탭 에서 스파크 애플리케이션을 만들 수 있습니다. 자세한 내용은 콘솔에서 스파크 애플리케이션 제출하기를 참고하세요.
- 이제 Spark 버전( 3.5.4 )을 사용하여 watsonx.data 에서 애플리케이션을 실행할 수 있습니다. watsonx.data, Apache Spark 3.4.4 및 Apache Spark 3.5.4 에서 지원되는 버전입니다.
- Milvus 다음과 같은 기능을 허용합니다
- Milvus 에서는 이제 여러 벡터 열을 기반으로 하이브리드 GroupBy 검색을 수행할 수 있으며, 검색 쿼리를 실행할 때 그룹 크기를 사용자 지정할 수도 있습니다. 자세한 내용은 사용자 지정 검색을 위해 watsonx Assistant watsonx.data Milvus 에 연결하기를 참조하세요.
- Milvus 이제 최대 1,024차원의 30억 벡터 용량을 가진 사용자 지정 크기를 지원합니다.
- Milvus 이제 미리 정의된 티셔츠 사이즈(소, 중, 대) 또는 사용자 지정 사이즈 사이에서 확대 또는 축소할 수 있습니다. 더 자세한 정보는 Milvus 서비스 추가하기를 참고하세요.
- watsonx.data 2.1.1 버전부터 Milvus 2.5.0 가 지원됩니다. 자세한 내용은 Milvus.
- 액세스 관리 개선 사항
-
이번 watsonx.data 릴리스에는 다음과 같은 액세스 관리 개선 사항이 도입되었습니다:
- watsonx.data 의 액세스 관리 서비스(AMS)는 이제 Presto 에서 들어오는 요청에 대해 JSON 웹 토큰(JWT) 인증을 사용할 수 있어 안전하고 효율적인 액세스 제어를 보장합니다. 더 자세한 정보를 원하시면, Presto CLI(원격)를 통해 Presto 엔진에 연결하는 방법을 참고하세요.
- 이제 20개 단위로 인프라 구성 요소에 사용자 및 역할을 할당할 수 있습니다. 자세한 정보는 사용자 액세스 관리를 참조하십시오.
- 이제 스파크 엔진의 데이터를 관리하기 위해 Apache Ranger Hadoop SQL 정책을 사용할 수 있습니다. Spark 엔진이 Hadoop 클러스터의 데이터에 액세스할 때 Ranger 정책을 정의할 수 있습니다. 레인저 정책을 활성화하면 강력한 데이터 보안과 거버넌스를 보장할 수 있습니다. 레인저 정책을 사용하면 테이블 권한 부여( L3 ), 행 수준 필터링, 데이터에 대한 열 마스킹을 구성할 수 있습니다. 자세한 내용은 자원 관리에 대한 Apache Ranger 정책 활성화하기를 참조하세요.
- CPDCTL CLI 개선 사항
-
IBM
CPDCTL
이제 CLI는 watsonx.data 에서 다양한 작업을 구성하고 관리하는 데 사용됩니다.CPDCTL
의 CLI를 사용하면 구성 설정을 관리하고, 수집 작업을 실행하고, 엔진, 데이터 소스, 저장소를 관리할 수 있습니다. 현재 다음 두 가지 플러그인이 이러한 작업을 실행하는 데 사용됩니다-
config
- watsonx.data 의 서비스 환경과 사용자를 설정합니다. -
wx-data
- watsonx.data 에서 엔진 수집, 엔진 관리 등과 같은 다른 작업을 수행하려면 자세한 내용은 IBM cpdctl을 참조하십시오.watsonx.data 개발자 에디션은 이제 IBM CPDCTL 버전 v1.6.104 이상에서 활성화됩니다.
-
- 더 이상 사용되지 않는 기능
-
이번 릴리스에서는 다음 기능이 더 이상 지원되지 않습니다:
-
데이터 액세스 서비스(DAS) 프록시 기능은 이제 사용되지 않으며, 향후 릴리스에서 제거될 예정입니다. 데이터 액세스 서비스(DAS) 프록시 기능을 사용하여 오브젝트 스토리지에 액세스할 수 없습니다( S3, ADLS 및 ABS). DAS 프록시 플로우를 사용하다가 문제가 발생하면 IBM 지원팀에 문의하시기 바랍니다. DAS 기능에 대한 개요는 데이터 액세스 서비스(DAS)를 참조하십시오.
-
IBM 클라이언트 패키지는 이제 사용되지 않으며, 향후 릴리스에서 제거될 예정입니다. 클라이언트 패키지의 유틸리티와 명령은 CPDCTL CLI( IBM )로 대체됩니다. IBM 의 사용법에 대한 자세한 정보는 IBM cpdctl.
-
2025년 2월 4일 - 버전 2.1.0 핫픽스 2
- 라이트 플랜 개선
- IBM® watsonx.data 시드니 지역에서는 라이트 플랜을 이용할 수 있습니다. 시드니 지역에서 라이트 요금제 인스턴스를 제공하는 방법에 대한 자세한 내용은 라이트 요금제 제공을 참조하십시오.
2025년 1월 10일 - 버전 2.1.0 핫픽스 1
- 기업용 플랜 개선
- IBM Cloud 사용하여 시드니 지역의 Enterprise 플랜 인스턴스를 프로비저닝하는 경우, 플랜 이름은
lakehouse-enterprise-mcsp
이어야 합니다. 더 자세한 정보는 CLI를 통한 인스턴스 제공을 참고하세요.
2024년 12월 13일 - 버전 2.1.0
- 데이터 소스 및 저장소 개선 사항
-
이번 릴리스에는 다음과 같은 새로운 데이터 소스 및 저장소 개선 사항이 포함되어 있습니다:
-
이제 Apache Phoenix 데이터 소스에 연결할 수 있습니다. 자세한 내용은 Apache Phoenix
-
MySQL 데이터 소스로 작업하는 경우 이제 구성 페이지의 드라이버 관리자 섹션에서 드라이버를 관리할 수 있습니다. 이러한 각 드라이버는 일련의 유효성 검사 단계를 거칩니다. 더 이상 MySQL 연결을 테스트할 수 없습니다. 자세한 내용은 MySQL 참조하세요.
버전 2.1.0 업그레이드하면 기존 MySQL 카탈로그가 더 이상 엔진에 연결되지 않습니다. 즉, MySQL 카탈로그와 엔진 간의 연결을 다시 설정해야 합니다.
-
이제 Arrow Flight service 지원하는 다음 데이터 소스에 대해 테스트 연결 기능을 사용할 수 있습니다:
- Apache Derby
- Salesforce
- Greenplum
- MariaDB
-
이제 Azure 데이터 레이크 스토리지(ADLS) 및 IBM Data Virtualization Manager for z/OS 데이터 소스에 대한 연결을 테스트할 수 있습니다.
-
- 통합 개선사항
-
이번 watsonx.data 릴리스에서는 다음과 같이 다른 서비스와의 통합이 새로 도입되거나 개선되었습니다:
-
이제 구성 페이지에서 데이터밴드 연결을 사용 설정할 수 있습니다. 자세한 내용은 데이터밴드를 사용하여 스파크 애플리케이션 실행 모니터링하기를 참조하세요.
-
이제 다음 연동을 위해 watsonx.data 인스턴스 > 구성 > 연결 정보 페이지에서 Presto 연결 정보를 검색할 수 있습니다:
- BI 도구
- DataBuildTool (DBT)
-
watsonx.data 버전 2.1 부터는 다음 정책 엔진 중 하나와만 통합할 수 있습니다:
- Apache Ranger
- IBM Knowledge Catalog (IKC)
자세한 정보는 연결 정보를 참조하십시오.
-
이제 IBM Manta Data Lineage watsonx.data 통합하여 작업, 실행, 데이터 세트 이벤트를 캡처 및 게시할 수 있으며, Manta UI를 통해 Spark에서 이벤트를 캡처하고 게시할 수 있습니다. 자세한 내용은 IBM Manta Data Lineage 참조하세요.
-
이제 Presto dbt 어댑터로 모든 Presto 데이터 유형을 사용할 수 있습니다. dbt_project.yml 데이터 유형을 column_types로 지정합니다. 자세한 내용은 watsonx 설치 및 사용하기를 참조하세요.
-
- 엔진 및 서비스 개선 사항
-
이번 watsonx.data 릴리스에서는 다음과 같은 엔진 및 서비스 개선 사항을 소개합니다:
-
이제 AccessKey Authmode가 탑재된 Azure Data Lake Storage Gen2 와 Presto (C++) 엔진이 탑재된 Google Cloud Storage 사용할 수 있습니다. 이제 Spark 애플리케이션을 제출하는 동안 Azure Data Lake Storage(ADLS)와 Google Cloud Storage 사용하여 데이터를 저장할 수 있습니다. 자세한 내용은 Azure 와 Google Cloud Storage 참조하세요.
-
이제 데이터 액세스 서비스(DAS)와 함께 Google Cloud Storage (GCS)를 사용하여 Spark 애플리케이션을 제출하는 동안 데이터를 저장할 수 있습니다. 자세한 내용은 네이티브 스파크 엔진을 사용하여 스파크 애플리케이션 제출하기를 참조하세요.
-
이제 Spark 액세스 제어 확장 프로그램을 활성화하여 Hive 및 Hudi 카탈로그에 액세스하고 작동할 수 있습니다. 자세한 내용은 외부 스파크용 Spark 액세스 제어 확장 프로그램을 사용하여 스파크 애플리케이션 제출 향상하기 및 기본 스파크용 스파크 액세스 제어 확장 프로그램을 사용하여 스파크 애플리케이션 제출 향상하기를 참조하세요.
-
이제 watsonx.data 선택할 수 있습니다 Spark 엔진을 런타임 환경으로 선택할 수 있습니다. 이렇게 하면 watsonx.data 기본 Spark 엔진에서 Jupyter 노트북을 실행할 수 있습니다. 자세한 내용은 watsonx.ai 노트북으로 작업하기를 참조하세요.
-
이제 Presto 관리자는 API를 통해 JMX 메트릭을 구성할 수 있습니다. 현재 JMX 속성 이름의 키에는 영숫자 문자만 허용됩니다. 자세한 내용은 프레스토 엔진 업데이트를 참조하세요.
-
- Ibm-lh 유틸리티를 사용하여 이력 정보 쿼리하기
-
Ibm-lh 유틸리티를 사용하면 다음과 같은 쿼리 기록 정보를 얻을 수 있습니다:
- 기본 쿼리 정보.
- 실패한 쿼리의 기본 오류 정보입니다.
- 통계 정보를 조회합니다.
- 메모리 정보를 조회합니다.
- 가비지 컬렉션 정보를 조회합니다.
- 최고 소요 시간 쿼리.
- 쿼리의 메모리 사용량 세부 정보.
- 두 테이블을 조인한 후의 정보입니다.
- 테이블의 모든 열을 포함하는 정보입니다.
- 쿼리 오류에 대한 정보입니다.
- 모든 오류 코드의 개수입니다.
- 모든 실패 메시지 수입니다.
- 모든 실패 유형의 수입니다.
자세한 내용은 ibm-lh 유틸리티를 사용하여 QHMM 로그 검색하기를 참조하세요.
- 인제스트 개선 사항
-
이번 watsonx.data 릴리스에는 다음과 같은 수집 개선 사항이 도입되었습니다:
-
대상 테이블 미리 보기: 수집 작업을 제출하기 전에 이제 사용자가 대상 테이블 스키마를 미리 보고 열 헤더와 데이터 유형을 편집할 수 있습니다. 이를 통해 유효성 검사를 수행하고 데이터가 올바른 테이블 구조로 수집되도록 할 수 있습니다. 자세한 내용은 웹 콘솔을 통해 Spark를 사용하여 데이터 수집하기를 참조하세요.
-
테이블 생성을 위한 Java 수집: 이제 데이터 관리자에 로컬 수집으로 이동하는 Java 수집 흐름을 사용하여 테이블을 생성하는 옵션이 포함되어 파일 크기 및 기타 요인에 따라 유연성과 제어 기능을 제공합니다. 자세한 내용은 테이블 만들기 및 웹 콘솔을 통해 Spark를 사용하여 데이터 수집하기 을 참조하세요.
-
향상된 소스 저장소 지원:
- Azure 데이터 레이크 스토리지(ADLS): 이제 ADLS에서 직접 데이터를 수집할 수 있도록 지원됩니다.
- Google Cloud Storage (GCS): 이제 GCS에서 직접 데이터를 수집할 수 있는 기능이 지원됩니다.
-
임시 저장소: 이제 사용자는 로컬 수집을 위한 스테이징 영역으로 사용할 외부 버킷을 선택할 수 있습니다. 저장소를 지정하지 않으면 watsonx.data 적절한 버킷을 추론하여 선택할 수 있습니다. 자세한 내용은 웹 콘솔을 통해 Spark를 사용하여 데이터 수집하기를 참조하세요.
-
- 메타데이터 서비스(MDS) 소개
-
2.1 릴리스부터 watsonx.data Hive 메타스토어(HMS) 대신 메타데이터 서비스(MDS)를 사용합니다. MDS는 최신 개방형 카탈로그 API, Unity 카탈로그 API, Apache Iceberg REST 카탈로그 API와 호환되므로 툴 통합 범위가 넓어지고 유연성이 향상됩니다. 이 새로운 아키텍처는 기존 Thrift 또는 HMS 인터페이스를 통해 Spark 및 Presto 클라이언트를 계속 지원하면서 비슷한 성능을 제공합니다. 자세한 내용은 메타데이터 서비스(MDS)개요를 참조하세요.
테스트 환경에서 MDS를 사용한 다음 프로덕션 환경으로 전환하는 것이 좋습니다.
- 더 이상 사용되지 않는 기능
-
이번 릴리스에서는 다음 기능이 지원되지 않습니다:
- 이벤트 리스너를 통해 watsonx.data 에서 DDL 변경 사항을 캡처하는 REST API 기능은 watsonx.data 릴리스 버전 2.1 부터 더 이상 사용되지 않습니다.
2024년 11월 13일 - 버전 2.0.4 핫픽스
- 라이트 요금제 개선 사항
-
이번 핫픽스 릴리스에는 다음과 같은 Lite 요금제 개선 사항이 포함되어 있습니다:
-
이제 Lite 요금제에는 샘플 및 벤치마킹 데이터 쿼리를 지원하기 위해 Presto 엔진에 연결된 전용 읽기 전용 샘플 IBM COS 스토리지가 포함되어 있습니다.
-
이제 고성능 사용 사례를 위한 tpcds 샘플 워크시트와 데이터 엔지니어링 및 GenAI 사용 사례를 위한 Gosales 샘플 워크시트로 작업할 수 있습니다.
-
이제 고성능 BI 사용 사례에 대해 쿼리 최적화 도구가 자동으로 활성화됩니다.
-
2024년 10월 29일 - 버전 2.0.4
- 엔진 및 서비스 개선 사항
-
이번 릴리스에는 다음과 같은 엔진 및 서비스 개선 사항이 포함되어 있습니다:
-
이제 PrestoJava 및 Presto (C++) 워커의 '
task.max-drivers-per-task
' 속성 기본값이 vCPUs 수에 따라 설정됩니다. -
쿼리 모니터링 페이지의 쿼리 기록 모니터링 및 관리(QHMM)에서 파일 정리 기능을 사용 설정할 수 있습니다. QHMM 스토리지 버킷의 최대 크기와 임계값 백분율을 구성할 수도 있습니다. 파일 업로드 중 임계값이 충족되거나 정리 스케줄러가 실행될 때(기본값은 24시간마다) 오래된 데이터가 삭제됩니다. 자세한 내용은 쿼리 모니터링 구성을 참조하세요.
-
QHMM(쿼리 기록 모니터링 및 관리)은 더 이상 기본 IBM 관리형 평가판 버킷(
wxd-system
)에 진단 데이터를 저장하지 않습니다. 진단 데이터를 저장하려면 이제 QHMM에 지원되는 저장소 유형을 사용해야 합니다. 자체 저장소 사용에 대한 자세한 내용은 쿼리 모니터링 구성을 참조하세요. -
이제 JSON 파일에서 '
wxdQueryOptimized
파라미터를 확인하여 쿼리 최적화 상태를 확인할 수 있습니다. 자세한 내용은 Presto(C++)CLI 또는 쿼리 작업 영역에서 쿼리 실행하기를 참조하세요.
-
- 데이터 원본 개선 사항
-
이번 릴리스에는 다음과 같은 데이터 소스 및 저장소 개선 사항이 포함되어 있습니다:
-
이제 다음 데이터 소스에 대해 연결 테스트 기능을 사용할 수 있습니다:
- Apache Pinot
- Cassandra
- Prometheus
-
이제 새로운 데이터 소스 SAP HANA 사용할 수 있습니다. 구성 페이지의 드라이버 관리자를 사용하여 SAP HANA 데이터 소스용 드라이버를 관리할 수 있습니다. 이러한 각 드라이버는 일련의 검증을 거칩니다. SAP HANA 데이터 소스 및 BYOJ 프로세스에 대한 자세한 내용은 SAP HANA 참조하세요.
-
- Lite 플랜
-
사용 편의성을 높이기 위해 이제 Lite 요금제 사용자에게는 시스템 카탈로그(cmx 및 시스템)가 숨겨집니다. Presto (C++) 엔진이 포함된 Lite 플랜 인스턴스는 벤치마킹 카탈로그로 '
tpch
'을 포함하며, PrestoJava 엔진이 포함된 인스턴스는 벤치마킹 카탈로그로 'tpch
' 및 'tpcds
'을 포함합니다. - 더 이상 사용되지 않는 기능
-
이번 릴리스에서는 다음 기능이 더 이상 지원되지 않습니다:
-
이벤트 리스너를 통해 watsonx.data DDL 변경 사항을 캡처하는 REST API 기능은 이번 릴리스에서 더 이상 사용되지 않으며 버전 2.1 릴리스에서 watsonx.data 제거될 예정입니다.
-
Apache Spark 3.3 런타임에 대한 지원은 더 이상 제공되지 않습니다. Spark 3.4 업그레이드해야 합니다. Apache Spark 버전을 업데이트하려면 스파크 엔진 세부 정보 편집하기를 참조하세요.
-
2024년 9월 25일 - 버전 2.0.3
- 데이터 소스 및 저장소 개선 사항
-
이번 릴리스에는 다음과 같은 새로운 데이터 소스 및 저장소 개선 사항이 포함되어 있습니다:
-
이제 Milvus Azure Data Lake Storage Gen1 Blob 및 Google Cloud Storage 사용하도록 설정할 수 있습니다. 자세한 내용은 ADLS Gen1 블롭 및 Google Cloud Storage 참조하세요.
-
카탈로그를 첨부하지 않고도 엔진에 새 데이터 소스를 만들거나 추가할 수 있습니다. 카탈로그는 나중에 데이터 원본에 첨부할 수 있습니다.
-
이제 Presto ( Java ) 엔진에 Apache Ozone 스토리지를 사용할 수 있습니다. 자세한 내용은 Apache Ozone.
-
이제 소금에 절인 챌린지 응답 인증 메커니즘(SCRAM) 인증 메커니즘을 사용하도록 Apache Kafka 데이터 소스를 구성할 수 있습니다. 자체 서명된 인증서를 업로드할 수 있습니다. 자세한 내용은 Apache Kafka 를 참조하세요.
-
- 통합 개선사항
-
이번 watsonx.data 릴리스에서는 다음과 같이 다른 서비스와의 통합이 새로 도입되거나 개선되었습니다:
-
이제 watsonx.data와 Spark 엔진용 데이터 빌드 도구(dbt)를 통합하여 watsonx.data 내에서 인-플레이스 데이터 변환을 수행할 수 있습니다. 자세한 내용은 dbt 통합에 대해 를 참조하세요.
-
watsonx.data를 데이터밴드와 통합할 수 있습니다. 이 통합은 Spark UI Spark 히스토리를 넘어서는 인사이트를 제공함으로써 모니터링 기능을 향상시킬 수 있습니다. 자세한 내용은 데이터밴드를 사용하여 Spark 애플리케이션 실행 모니터링하기 를 참조하세요.
-
watsonx.data 다음 Business Intelligence (BI) 시각화 도구와 통합하여 연결된 데이터 원본에 액세스하고 매력적인 대화형 데이터 시각화를 구축할 수 있습니다:
- Tableau
- Looker
- Domo
- Qlik
- PowerBI
자세한 내용은 BI 시각화 도구에 대해 를 참조하세요.
-
- 엔진 및 서비스 개선 사항
-
이번 watsonx.data 릴리스에서는 다음과 같은 엔진 및 서비스 개선 사항을 소개합니다:
-
아이스버그 테이블은 쿼리 옵티마이저에서 지원됩니다. 자세한 내용은 쿼리 최적화 도구 를 참조하세요.
-
이제 데이터 빌드 도구(dbt-watsonx-presto) 어댑터를 사용하여 Presto(Java) 엔진용 데이터 모델을 빌드, 테스트 및 문서화할 수 있습니다. 자세한 내용은 dbt-watsonx-presto 를 참조하세요.
-
이제 열 이름의 대문자와 소문자 불일치를 방지하는 새로운 사용자 지정 속성(파일-열 이름-read-as-lower-case)을 Presto(C++) 엔진에서 사용할 수 있습니다. 자세한 내용은 Presto(C++) 에 대한 카탈로그 속성을 참조하세요.
-
- 액세스 관리 개선 사항
-
이번 watsonx.data 릴리스에는 다음과 같은 액세스 관리 개선 사항이 도입되었습니다:
-
이제 사용자 및 사용자 그룹을 추가하여 데이터 정책 규칙을 정의할 수 있습니다. 자세한 내용은 데이터 정책 를 참조하세요.
-
이제 관리자는 TPCDS 및 TPCH 카탈로그를 선택하여 액세스 제어 정책을 만들 수 있습니다. '선택'은 이러한 카탈로그에서 규칙을 정의하는 데 허용되는 유일한 작업입니다. 데이터 정책을 정의하려면 데이터 정책 를 참조하세요.
-
이제 관리자는 리소스 그룹을 만든 후 리소스 그룹 구성을 편집할 수 있습니다. 자세한 내용은 Presto 리소스 그룹 구성하기 를 참조하세요.
-
- 데이터 소스에 대한 IBM Knowledge Catalog 거버넌스 정책
-
이제 IBM Knowledge Catalog 거버넌스 정책을 Presto의 다음 데이터 원본에 적용할 수 있습니다:
- Oracle
- PostgreSQL
- MySQL
- SQL Server
- Db2
- 인제스트 개선 사항
-
이번 watsonx.data 릴리스에는 수집 워크플로에 다음과 같은 개선 사항이 포함되어 있습니다:
-
이제 데이터 소스를 사용하여 수집 작업을 제출할 수 있습니다. 자세한 내용은 웹 콘솔을 통해 Spark를 사용하여 데이터 수집하기 를 참조하세요.
-
이제 AVRO 및 ORC 파일 형식을 사용하여 데이터를 수집할 수 있습니다. 자세한 내용은 데이터 수집에 관하여 를 참조하세요.
-
업로드한 파일을 미리 보고 테이블 헤더를 클릭하여 열 이름을 편집할 수 있습니다. 자세한 내용은 웹 콘솔을 통해 Spark를 사용하여 데이터 수집하기 를 참조하세요.
-
수집 작업과 관련된 Spark 로그에 액세스하여 볼 수 있습니다. 자세한 내용은 수집 작업을 위한 Spark 로그에 액세스하기 를 참조하세요.
-
- Lite 플랜
-
다음 세 가지 사용 사례를 기반으로 Lite 요금제 인스턴스를 프로비저닝할 수 있습니다. 계속하려면 목록에서 하나의 사용 사례를 선택하세요:
- 생성 AI: 이 옵션을 사용하여 생성 AI 사용 사례를 살펴볼 수 있습니다. 프로비저닝된 인스턴스에는 Presto, Milvus, 스파크가 포함됩니다.
- 고성능 BI: 이 옵션을 사용하여 BI 시각화 기능을 탐색할 수 있습니다. 프로비저닝된 인스턴스에는 Presto(C++) 및 Spark가 포함됩니다.
- 데이터 엔지니어링 워크로드: 데이터 엔지니어링 워크로드를 사용하여 다양한 워크로드 중심 사용 사례를 탐색할 수 있습니다. 프로비저닝된 인스턴스에는 Presto(Java) 및 Spark가 포함됩니다.
자세한 내용은 Lite 요금제 를 참조하세요.
2024년 8월 27일 - 버전 2.0.2
데이터 소스 및 저장소 개선 사항
이번 릴리스에는 다음과 같은 새로운 데이터 소스 및 저장소 개선 사항이 포함되어 있습니다:
-
CAS(콘텐츠 인식 스토리지)는 이제 DAS(데이터 액세스 서비스)로 불립니다.
-
Apache Hive가 버전 4.0.0으로 업그레이드되었습니다.
-
이제 저장소 세부 정보 페이지에서 DAS 엔드포인트를 볼 수 있습니다. 자세한 내용은 저장소 개체 살펴보기 를 참조하세요.
통합 개선사항
이번 watsonx.data 릴리스에서는 다음과 같이 다른 서비스와의 통합이 새로 도입되거나 개선되었습니다:
-
이제 IBM Knowledge Catalog의 거버넌스 기능을 watsonx.data 플랫폼 내의 SQL 보기에 사용할 수 있습니다. 자세한 내용은 IBM Knowledge Catalog(IKC)와 통합하기 을 참조하세요.
-
IBM watsonx.data 이제 Apache (C++) 엔진으로 데이터를 관리하기 위한 Presto Ranger 정책이 지원됩니다. 자세한 내용은 다음을 참조하세요.Apache 레인저 정책.
엔진 및 서비스 개선 사항
이번 watsonx.data 릴리스에서는 다음과 같은 엔진 및 서비스 개선 사항을 소개합니다:
-
이제 인스턴스 관리자는 Presto에서 리소스 그룹을 구성할 수 있습니다. 자세한 내용은 리소스 그룹 를 참조하세요.
-
이제 API를 사용하여 쿼리를 실행하고 결과를 검색할 수 있습니다. 자세한 내용은 API 를 참조하세요.
-
이제 API 사용자 지정을 통해 Presto(Java)의 로그 수준을 구성하거나 변경할 수 있습니다. 자세한 내용은 API 에서 확인하세요.
-
이제 Iceberg Spark 분석 절차로 고유값 수(NDV) 열 통계를 생성하여 향상된 쿼리 계획을 위한 Spark 비용 기반 최적화 도구(CBO)를 향상시킬 수 있습니다.
-
이제 사용자 지정 데이터 소스 옵션을 사용하여 Presto (Java) 엔진의 블랙홀 및 로컬 파일 커넥터에 연결할 수 있습니다. 자세한 내용은 사용자 지정 데이터 소스 를 참조하세요.
-
이제 Presto 엔진 및 Milvus 서비스용 JSON 스니펫을 생성할 수 있습니다. watsonx.data 복사/붙여넣기할 수 있습니다 Presto 및 Milvus 커넥터 UI를 사용하여 연결 생성을 간소화할 수 있는 IBM Cloud Pak for Data 및 watsonx. 자세한 내용은 연결 정보 가져오기 를 참조하세요.
접속 관리 개선 사항
이번 watsonx.data 릴리스에는 다음과 같은 액세스 관리 개선 사항이 도입되었습니다:
-
이제 프레스토(C++) 엔진에 대한 액세스를 제어할 수 있습니다. 자세한 내용은 엔진(Presto(Java)또는 Presto(C++)) 를 참조하세요.
-
이제 사용자 및 사용자 그룹에 컴포넌트 액세스 권한을 일괄적으로 부여할 수 있습니다. 자세한 정보는 사용자 액세스 관리를 참조하십시오.
-
이제 시스템 액세스 제어(SAC) 플러그인 로그에 디버그 정보가 포함된 Presto에서 확인할 수 있습니다. 자세한 내용은 API 사용자 지정 를 참조하세요.
섭취 개선 사항
이번 watsonx.data 릴리스에는 다음과 같은 수집 개선 사항이 도입되었습니다:
- 이제 수집 작업을 제출하고 로컬 파일 수집을 지원하도록 수집 워크플로우가 간소화되어 watsonx.data에서 수집 작업을 수행할 수 있습니다. 자세한 내용은 웹 콘솔을 통해 Spark를 사용하여 데이터 수집하기 를 참조하세요.
- 이제 JSON 파일 형식을 사용하여 데이터를 수집할 수 있습니다. 자세한 내용은 데이터 수집에 관하여 를 참조하세요.
- 이제 CSV 파일 속성을
ibm-lh data-copy
을 지원하는 매개변수로 사용할 수 있습니다. 자세한 내용은 ibm-lh 도구에서 지원되는 옵션 및 매개변수 를 참조하세요. ibm-lh tool
명령줄을 통해 Spark 수집에 새로운 환경 변수를 사용할 수 있습니다. 자세한 내용은 ibm-lh 도구 명령줄을 통한 스파크 수집 를 참조하세요.
2024년 8월 1일 - 버전 2.0.1
데이터 소스
- 이제 Db2 데이터 소스에 IBM API 키를 인증 메커니즘으로 사용하여 연결할 수 있습니다. 자세한 내용은 IBM Db2 에서 확인할 수 있습니다.
- Presto (C++) 엔진을 이제 Arrow Flight service 데이터 소스와 연결할 수 있습니다. 읽기 전용 작업이 지원됩니다. 다음 화살표 Flight service 데이터 소스가 지원됩니다:
- Salesforce
- MariaDB
- Greenplum
- Apache Derby
자세한 내용은 다음을 참조하세요.화살Flight service.
- 다음과 같은 새로운 데이터베이스를 Presto (Java) 엔진에 사용할 수 있습니다:
- Redis
- Apache 드루이드
- 자세한 내용은 Redis 및 Apache Druid를 참조하세요.
통합
-
IBM Knowledge Catalog와 IBM watsonx.data를 통합하는 경우 테이블의 개별 행에 대한 데이터 보호 규칙을 구성하여 사용자가 테이블의 행 하위 집합에 액세스할 수 있도록 할 수 있습니다. 자세한 내용은 행 필터링하기를 참조하세요.
-
이제 Apache (Presto) 엔진에 대해 다음 Java Ranger 정책을 적용할 수 있습니다:
- 행 수준 필터링: 사용자는 테이블의 행 하위 집합에 액세스할 수 있습니다. 자세한 내용은 행 수준 필터링 정책 추가하기를 참조하세요.
- 열 마스킹: 사용자가 민감한 데이터를 표시하는 대신 마스킹된 값만 볼 수 있도록 제한합니다. 자세한 내용은 열 마스킹 정책 추가하기를 참조하세요.
-
이제 IBM watsonx.data을 온프레미스 IBM DataStage과 통합할 수 있습니다. DataStage 서비스를 사용하여 IBM watsonx.data에서 데이터를 로드하고 읽을 수 있습니다. 자세한 내용은 DataStage과 통합하기을 참조하세요.
인증 및 권한 부여
-
Spark 액세스 제어 확장 프로그램을 사용하면 추가 인증을 허용하여 신청서 제출 시 보안을 강화할 수 있습니다. 스파크 구성에서 확장 기능을 활성화하면 권한이 부여된 사용자만 스파크 작업을 통해 IBM watsonx.data 카탈로그에 액세스하고 작업할 수 있습니다. 자세한 내용은 Spark 액세스 제어 확장 프로그램을 사용하여 Spark 애플리케이션 제출 개선하기를 참조하세요.
-
IBM watsonx.data 이제 Azure 데이터 레이크 스토리지 및 Azure Blob Storage에 대한 개체 저장소 프록시 및 서명을 지원합니다. 자세한 내용은 DAS 프록시를 사용하여 ADLS 및 ABS 호환 버킷에 액세스하기를 참조하세요.
-
이제 Teradata 및 Db2 데이터 원본에 대해 LDAP(경량 디렉터리 액세스 프로토콜)가 제공됩니다. 사용자는 서버 수준에서 이 구성을 설정해야 합니다. Teradata의 경우, UI에서 인증 메커니즘 유형을 LDAP로 명시적으로 선택합니다. 자세한 내용은 Teradata에서 확인할 수 있습니다.
ADLS 및 ABS 버킷에 액세스하기 위한 DAS 프록시 및 LDAP 개선 사항은 2.0.1 버전에서 기술 미리보기로 제공됩니다.
- Milvus 이제 사용자를 위한 파티션 수준 격리를 지원합니다. 관리자는 파티션에 대한 특정 사용자 작업을 승인할 수 있습니다. 자세한 내용은 서비스(Milvus )를 참조하세요.
스토리지
- 이제 Presto (Java) 엔진에서 IBM watsonx.data에 다음 스토리지를 추가할 수 있습니다:
- Azure 데이터 레이크 스토리지 Gen2
- Azure 데이터 레이크 스토리지 Gen1 Blob
자세한 내용은 Azure Data Lake Storage Gen2 및 Azure Data Lake Storage Gen1 Blob에서 참조하세요.
- 스토리지에 대해 사용자가 등록한 버킷의 액세스 키와 비밀 키를 수정할 수 있습니다. 이 기능은 기본 버킷, ADLS 또는 Google Cloud Storage에는 적용되지 않습니다. 이 기능은 새 자격 증명이 테스트 연결을 성공적으로 통과한 경우에만 사용할 수 있습니다.
엔진
- 이제 MongoDB 데이터 소스에 대해 ALTER TABLE ADD, DROP 및 RENAME 열 문을 사용할 수 있습니다.
- 이제 프레스토에서 지원되지 않는 데이터 유형을 처리하는 방법을 구성할 수 있습니다. 자세한 내용은 지원되지 않는 데이터 유형 무시를 참조하세요.
카탈로그
- 이제 인프라 관리자 페이지의 연결 관리에서 UI를 통해 카탈로그를 엔진에 일괄적으로 연결 및 연결 해제할 수 있습니다.
API 사용자 지정 및 속성
-
다음 사용자 지정 매개변수가 Presto (C++) 워커에 추가됩니다:
- 시스템-메모리-제한-GB
- 시스템-메모리-축소-GB
- 시스템-메모리-푸시백 사용
자세한 내용은 프레스토(C++)- 워커 노드에 대한 구성 속성에서 확인할 수 있습니다.
-
구성 속성
optimizer.size-based-join-flipping-enabled
이 Presto (C++) 코디네이터 노드에 추가됩니다. 자세한 내용은 프레스토(C++)- 코디네이터 노드의 구성 속성을 참조하세요. -
성능을 위해 데이터 캐시 및 조각 결과 캐시를 지원하는 향상된 API 사용자 지정 improvement.For 자세한 내용은 Presto(Java)- 코디네이터 및 워커 노드에 대한 구성 속성 및 Presto(Java)에 대한 카탈로그 속성를 참조하세요.
인프라 관리 프로그램
- 인프라 관리자 페이지에서 다음 값에 대한 검색 기능을 사용할 수 있습니다:
- 데이터베이스 이름
- 등록된 호스트 이름
- 사용자 이름으로 생성
- 이제 알림 섹션에서 종 아이콘 아래의 '방해 금지' 토글 스위치를 사용하여 팝업 알림을 사용하거나 사용하지 않도록 설정할 수 있습니다.
- 연결 정보는 구성 페이지의 연결 정보 타일에서 찾을 수 있습니다. 이 정보를 복사하여 JSON 스니펫으로 다운로드할 수 있습니다.
작업 영역 쿼리
- 새 드롭다운 목록에서 필요한 카탈로그와 스키마를 선택하여 경로
<catalog>.<schema>
을 지정하지 않고도 SQL 쿼리 작업 영역을 통해 스키마 아래의 모든 테이블에 대한 쿼리를 실행할 수 있습니다. 자세한 내용은 SQL 쿼리 실행하기를 참조하세요.
watsonx.data 요금제
- 이제 계정 한도인 2000 RU에 도달하기 전에 기존 라이트 요금제 인스턴스를 삭제하고 새 인스턴스를 생성하여 계정에서 사용 가능한 나머지 리소스 단위를 사용할 수 있습니다. 자세한 내용은 watsonx.data Lite 요금제를 참조하세요.
2024년 7월 3일 - 버전2.0.0
데이터 소스의 새로운 데이터 유형
이제 일부 데이터 소스에 다음과 같은 새로운 데이터 유형을 사용할 수 있습니다. 다음에서 이러한 데이터 유형에 액세스할 수 있습니다.데이터 관리자 아래 페이지열 추가 옵션.
-
BLOB
- Db2
- Teradata
- Oracle
- MySQL
- SingleStore
-
CLOB
- Db2
- Teradata
- Oracle
-
BINARY
- SQL Server
- MySQL
숫자 데이터 유형은 지원되지 않기 때문에watsonx.data, 숫자 데이터 유형에 대한 동등한 대안으로 10진수 데이터 유형을 사용할 수 있습니다.Netezza 데이터 소스.
이제 쿼리 작업 공간의 SELECT 문과 함께 BLOB 및 CLOB 데이터 유형을 사용하여 데이터에 대한 쿼리를 작성하고 실행할 수 있습니다.Oracle 그리고SingleStore 데이터 소스.
이제 BLOB 및 CLOB 데이터 유형을 사용할 수 있습니다.MySQL 그리고PostgreSQL 이러한 데이터 유형은 LONGTEXT, BYTEA 및 TEXT와 호환되지 않으므로 데이터 소스는 LONGTEXT, BYTEA 및 TEXT와 동일합니다.Presto (Java ). 이러한 데이터 유형은 CLOB 및 BLOB에 매핑됩니다.Presto (Java ) 데이터 소스에 LONGTEXT, TEXT 및 BYTEA 데이터 유형의 기존 테이블이 있는 경우.
- MySQL (LONGTEXT와 동등한 CLOB)
- PostgreSQL (CLOB는 TEXT와 동일함)
- PostgreSQL (BYTEA와 동등한 BLOB)
- Netezza (숫자와 동등한 소수)
- Oracle (SELECT 문을 사용한 BLOB 및 CLOB)
- SingleStore (SELECT 문을 사용한 BLOB 및 CLOB)
다음에 대한 새로운 작업Db2 데이터 소스
BLOB 및 CLOB 데이터 유형에 대해 다음 작업을 수행할 수 있습니다.Db2 데이터 소스:
- 삽입
- CREATE
- CTAS
- ALTER
- DROP
새로운 화살Flight service 기반 데이터 소스
이제 Arrow에서 다음 데이터 소스를 사용할 수 있습니다.Flight service:
- Greenplum
- Salesforce
- MariaDB
- Apache Derby
자세한 내용은 다음을 참조하세요.화살Flight service.
새 데이터 소스
이제 다음 데이터 소스를 사용할 수 있습니다:
- Cassandra
- BigQuery
- ClickHouse
- Apache Pinot
자세한 내용은 다음을 참조하세요.데이터베이스-카탈로그 쌍 추가.
수집 기록을 검색하는 명령
이제 ibm-lh get-status를 사용하여 제출된 모든 수집 작업의 상태를 검색할 수 있습니다.--all-jobs CLI 명령. 제출된 모든 수집 작업의 상태를 검색할 수 있습니다. 당신은 당신이 접근할 수 있는 역사 기록을 얻습니다. 자세한 내용은 다음을 참조하세요.ibm-lh 도구에서 지원되는 옵션 및 매개변수.
추가 역할IBM Knowledge Catalog (IKC)S2S 권한 부여
데이터 액세스 외에도IBM Knowledge CatalogS2S 승인을 위해서는 메타데이터 액세스 및 콘솔 API 액세스가 필요합니다.watsonx.data. IKC 서비스 액세스 구성을 위해 다음과 같은 새로운 역할이 생성됩니다.
- 뷰어
- 메타스토어 뷰어
Apache 레인저 정책
IBMwatsonx.data 이제 지원합니다Apache 통합을 허용하는 Ranger 정책Presto 엔진. 자세한 내용은 다음을 참조하세요.Apache 레인저 정책.
버전 업그레이드
- Presto (Java ) 엔진이 이제 버전으로 업그레이드되었습니다.0.286.
- Milvus 서비스가 2.4.0 버전으로 업그레이드되었습니다. 중요한 기능은 다음과 같습니다:
- 더 나은 성능(낮은 메모리 활용도)
- 희소 데이터 지원
- 희소 벡터 임베딩을 위한 내장 SPLADE 엔진
- BGEM3 하이브리드(고밀도+희소) 검색
Hive Metastore(HMS) 액세스watsonx.data
이제 다음에 대한 메타데이터 정보를 가져올 수 있습니다.Hive 엔진 세부 정보에서 정보를 가져오는 대신 REST API를 사용하여 Metastore를 사용합니다. HMS 세부 정보는 외부 엔터티에서 통합하는 데 사용됩니다.watsonx.data. API를 실행하려면 관리자, 메타스토어 관리자 또는 메타스토어 뷰어 역할이 있어야 합니다.
데이터 강화를 위한 의미론적 자동화
데이터 강화를 위한 의미론적 자동화는 생성적 AI를 활용합니다.IBM Knowledge Catalog 더 깊은 수준에서 데이터를 이해하고 자동화된 강화를 통해 데이터를 강화하여 분석에 가치를 부여합니다. 의미 계층 통합은 Lite 플랜 사용자에게 30일 평가판으로만 제공됩니다. 자세한 내용은 다음을 참조하세요.데이터 강화를 위한 의미론적 자동화watsonx.data.
쿼리 성능을 향상시키는 쿼리 최적화 프로그램
이제 쿼리 최적화 프로그램을 사용하여 처리되는 쿼리의 성능을 향상시킬 수 있습니다.Presto (C++) 엔진. 쿼리 최적화 프로그램에서 최적화가 가능하다고 판단하면 쿼리가 다시 작성됩니다. 그렇지 않으면 기본 엔진 최적화가 우선 적용됩니다. 자세한 내용은 다음을 참조하세요.쿼리 최적화 도구 개요.
새 이름Presto 엔진watsonx.data
Presto 로 이름이 변경되었습니다.Presto (Java ).
새로운 엔진(Presto C++)watsonx.data
다음을 프로비저닝할 수 있습니다.Presto (C++) 엔진( 버전0.286 ) 안에watsonx.data 데이터 소스에 대해 SQL 쿼리를 실행하고 쿼리된 데이터를 가져옵니다. 자세한 내용은 다음을 참조하세요.Presto (C++) 개요.
프록시를 사용하여 액세스S3 그리고S3 호환 버킷
외부 애플리케이션과 쿼리 엔진은S3 그리고S3 다음에서 관리하는 호환 버킷watsonx.data 통해S3 대리. 자세한 내용은 다음을 참조하세요.사용S3 액세스할 프록시S3 그리고S3 호환 버킷.
대소문자 혼합 기능 플래그Presto (Java ) 엔진
대소문자를 구분하는 동작과 대소문자를 구분하지 않는 동작 사이를 전환할 수 있는 대소문자 혼합 기능 플래그입니다.Presto (Java ), 사용할 수 있습니다. 플래그는 기본적으로 OFF로 설정되어 있으며 배포 중에 ON으로 설정할 수 있습니다.watsonx.data. 자세한 내용은 Presto(Java)혼합 케이스 지원 개요 를 참조하세요.
새로운 저장 유형Google Cloud Storage
이제 새로운 저장소 유형을 사용할 수 있습니다.Google Cloud Storage. 자세한 내용은 다음을 참조하세요.스토리지-카탈로그 쌍 추가.
2024년 5월 31일-버전 1.1.5
watsonx.data Lite 플랜에서 Spark 엔진 프로비저닝
이제 watsonx.data Lite 플랜 인스턴스에 소형 Spark 엔진 (단일 노드) 을 추가할 수 있습니다. 자세한 내용은 watsonx.data Lite 요금제를 참조하세요.
Spark랩 관련 업데이트
- Spark랩에서 Jupyter Notebooks에 대한 작업
: 이제 Spark 랩 내부의 VS Code Marketplace에서 Jupyter 확장 프로그램을 설치하여 Jupyter Notebook으로 작업할 수 있습니다. 자세한 내용은 주피터 노트북 만들기 를 참조하세요.
- 스파크 랩에서 Spark UI 액세스하기
이제 스파크 랩에서 스파크 사용자 인터페이스(UI)에 액세스하여 스파크 애플리케이션 실행의 다양한 측면을 모니터링할 수 있습니다. 자세한 내용은 스파크 랩에서 Spark UI 액세스하기를 참조하세요.
IBM Cloud 인스턴스에 대해 프로비저닝할 새 지역
이제 시드니 지역에서 IBM Cloud 인스턴스를 프로비저닝할 수 있습니다.
2024년 4월 30일-버전 1.1.4
watsonx.data 의 새 버전은 2024년 4월에 출시되었습니다.
이번 릴리스에는 다음과 같은 기능 및 업데이트가 포함되어 있습니다:
HDFS 연결을 위한Kerberos 인증
이제 보안 Apache Hadoop Distributed File System (HDFS) 연결을 위해 Kerberos 인증을 사용으로 설정할 수 있습니다. 자세한 정보는 HDFS 를 참조하십시오.
새 데이터 소스
이제 다음과 같은 새 데이터 소스를 사용할 수 있습니다.
- Oracle
- Amazon Redshift
- Informix
- Prometheus
자세한 정보는 데이터 소스 를 참조하십시오.
SSL 연결 테스트
이제 MongoDB 및 SingleStore 데이터 소스에 대한 SSL 연결을 테스트할 수 있습니다.
Apache Kafka 데이터 소스에 대한 설명 파일 업로드
Apache Kafka 데이터 소스는 생성자 및 이용자가 해석해야 하는 바이트 메시지로 데이터를 저장합니다. 이 데이터를 조회하려면 이용자가 먼저 데이터를 열에 맵핑해야 합니다. 이제 원시 데이터를 테이블 형식으로 변환하는 주제 설명 파일을 업로드할 수 있습니다. 각 파일은 테이블에 대한 정의를 포함하는 JSON 파일이어야 합니다. UI에서 이러한 JSON 파일을 업로드하려면 등록한 Apache Kafka 데이터베이스의 개요 페이지로 이동하여 주제 추가 옵션을 선택하십시오. 자세한 정보는 Apache Kafka 를 참조하십시오.
watsonx.data
IBM® watsonx.data 은 이제 다음 라이센스 플랜을 제공합니다.
- Lite 플랜
- Enterprise 플랜
다른 라이센스 플랜에 대한 자세한 정보는 IBM® watsonx.data 가격 플랜 을 참조하십시오.
Presto (Java ) 엔진 버전 업그레이드
그만큼Presto (Java ) 엔진이 이제 버전으로 업그레이드되었습니다.0.285.1.
Milvus 일시 중지 또는 재개
이제 Milvus 서비스를 일시 중지하거나 다시 시작할 수 있습니다. 서비스를 일시정지하면 비용이 발생하지 않습니다.
Spark를 이제 기본 엔진으로 사용할 수 있음
외부 Spark 엔진을 등록하는 것 외에도 이제 IBM watsonx.data 인스턴스에서 원시 Spark 엔진을 프로비저닝할 수 있습니다. 기본 Spark 엔진을 사용하면 watsonx.data UI및 REST API 엔드포인트를 사용하여 Spark Engine 구성을 완전히 관리하고 Spark Engine에 대한 액세스를 관리하며 애플리케이션을 볼 수 있습니다. 자세한 정보는 원시 Spark 엔진 프로비저닝 을 참조하십시오.
기본 Spark 엔진을 사용하여 데이터 수집
이제 원시 Spark 엔진을 사용하여 수집 작업을 제출할 수 있습니다. 자세한 내용은 다양한 표 형식으로 작업하기를 참조하세요.
2024년 3월 27일-버전 1.1.3
watsonx.data 의 새 버전은 2024년 3월에 출시되었습니다.
이번 릴리스에는 다음과 같은 기능 및 업데이트가 포함되어 있습니다:
일부 데이터 소스의 새 데이터 유형
이제 조회 작업공간에서 SELECT문과 함께 BINARY 데이터 유형을 사용하여 다음 데이터 소스의 데이터에 대한 조회를 빌드하고 실행할 수 있습니다.
- Elasticsearch
- SQL Server
- MySQL
새로운 데이터 유형: BLOB 및 CLOB은 MySQL, PostgreSQL, Snowflake, SQL Server, Db2 데이터 소스에 사용할 수 있습니다. 이러한 데이터 유형은 데이터에 대한 조회를 빌드하고 실행하기 위해 조회 작업공간에서 SELECT문과 함께만 사용할 수 있습니다.
Iceberg 데이터 소스에 대한 DELETE FROM 기능을 사용하여 데이터 삭제
이제 DELETE FROM 기능을 사용하여 Iceberg 데이터 소스의 테이블에서 데이터를 삭제할 수 있습니다.
copy-on-write 모드 또는 merge-on-read 모드 (기본값) 를 사용하여 새 테이블에 대한 테이블 특성 삭제 모드를 지정할 수 있습니다. 자세한 정보는 SQL문 을 참조하십시오.
Iceberg 데이터 소스에 대한 ALTER VIEW문
이제 조회 작업공간에서 다음 SQL문을 사용하여 ALTER VIEW의 데이터에 대해 조회를 빌드하고 실행할 수 있습니다.
ALTER VIEW 이름 RENAME TO new_name
Netezza Performance Server 데이터 소스에 대한 SSL 인증서 업로드
이제 Netezza Performance Server 데이터 소스에서 SSL 연결에 대한 SSL 인증서를 찾아보고 업로드할 수 있습니다. SSL 인증서의 올바른 파일 형식은 .pem, .crt 및 .cer입니다. 인프라 관리자에서 데이터베이스-카탈로그 쌍 추가 옵션을 사용하여 SSL 인증서를 업로드할 수 있습니다.
Db2 및 Watson Query에서 데이터 조회
이제 Watson Query 인스턴스에서 Db2 및 가상화된 테이블에서 작성된 별칭을 쿼리할 수 있습니다.
IBM Data Virtualization Manager for z/OS 데이터 소스에 대한 SSL 연결
이제 데이터베이스 연결을 보안 및 암호화하기 위해 데이터베이스 사용자 인터페이스 추가를 사용하여 IBM Data Virtualization Manager for z/OS 데이터 소스에 대해 SSL 연결을 사용으로 설정할 수 있습니다. 인증서 유효성 검증을 선택하여 호스트에서 리턴한 SSL 인증서를 신뢰할 수 있는지 여부를 유효성 검증하십시오. SSL 인증서에서 호스트 이름을 제공하도록 선택할 수 있습니다.
Apache Hudi 카탈로그의 데이터 사용
이제 Apache Hudi 카탈로그에 연결하여 데이터를 사용할 수 있습니다.
에 Milvus 서비스를 추가하세요 watsonx.data
이제 watsonx.data 다음과 같은 기능으로 Milvus 서비스로 프로비저닝할 수 있습니다:
-
스타터, 중간 및 대형 노드와 같은 다른 스토리지 변형을 프로비저닝합니다.
-
Milvus 사용자에게 관리자 또는 사용자 역할을 할당합니다: 이제 Milvus 사용자에게 사용자 액세스 정책을 사용할 수 있습니다. 액세스 제어 UI를 사용하여 Milvus 사용자에게 관리자 또는 사용자 역할을 할당하고 권한을 부여, 취소 또는 업데이트할 수도 있습니다.
-
Milvus 데이터를 저장할 개체 저장소를 구성합니다. 사용자 지정 버킷을 추가하거나 구성하고 사용자 이름, 비밀번호, 지역 및 버킷 URL 지정할 수 있습니다.
자세한 내용은 Milvus.
ibm-lh 수집 도구를 사용하여 일괄처리로 데이터 로드
이제 ibm-lh 수집 도구를 사용하여 ibm-lh-client 패키지를 사용하여 비대화식 모드 (ibm-lh-tools 컨테이너 외부에서) 에서 일괄처리 수집 프로시저를 실행할 수 있습니다. 자세한 정보는 ibm-lh 명령 및 사용법 을 참조하십시오.
웹 콘솔에서 대량 수집을 사용하여 스키마 작성
스키마가 이전에 작성되지 않은 경우 이제 웹 콘솔에서 벌크 수집 프로세스를 사용하여 스키마를 작성할 수 있습니다.
Apache Iceberg 테이블에서 시간 여행 쿼리 사용
이제 Apache Iceberg 테이블 스냅샷에서 브랜치 및 태그를 사용하여 다음과 같은 시간 여행 쿼리를 실행할 수 있습니다:
-SELECT *FROM <table name>
FOR VERSION AS OF ' historical-tag '
-SELECT *FROM <table name>
FOR VERSION AS OF ' test-branch '
자격증명 없이 Cloud Object Storage에 액세스 이제 DAS(데이터 액세스 서비스) 엔드포인트를 사용하여 자격 증명 없이 Cloud Object Storage 버킷에 액세스할 수 있습니다. DAS 엔드포인트 가져오기에 대한 자세한 내용은 DAS 엔드포인트 가져오기 를 참조하세요.
2024년 2월 28일-버전 1.1.2
watsonx.data 의 새 버전은 2024년 2월에 출시되었습니다.
이번 릴리스에는 다음과 같은 기능 및 업데이트가 포함되어 있습니다:
데이터 소스에 대한 SSL 연결
이제 데이터베이스 추가 사용자 인터페이스를 사용하여 데이터베이스 연결을 보호하고 암호화하여 다음 데이터 소스에 대해 SSL 연결을 사용으로 설정할 수 있습니다.
-
Db2
-
PostgreSQL
자세한 정보는 데이터베이스 추가 를 참조하십시오.
보안 수집 작업 히스토리
이제 사용자는 자신의 수집 작업 히스토리만 볼 수 있습니다. 관리자는 모든 사용자의 수집 작업 히스토리를 볼 수 있습니다.
SQL 개선사항
이제 조회 작업공간에서 다음 SQL문을 사용하여 데이터에 대한 조회를 빌드하고 실행할 수 있습니다.
- Apache Iceberg 데이터 소스
- CREATE VIEW
- DROP VIEW
- MongoDB 데이터 소스
- 삭제
Teradata 데이터 소스의 새 데이터 유형 BLOB및 CLOB
Teradata 데이터 소스에 대해 새 데이터 유형 BLOB및 CLOB를 사용할 수 있습니다. 이러한 데이터 유형은 데이터에 대한 조회를 빌드하고 실행하기 위해 조회 작업공간에서 SELECT문과 함께만 사용할 수 있습니다.
데이터 수집 중 새 테이블 작성
이전에는 데이터를 수집하기 위해 watsonx.data 에 대상 테이블이 있어야 했습니다. 이제 Data Manager 에서 데이터 수집을 사용하여 소스 데이터 파일 (parquet 또는 CSV 형식으로 사용 가능) 에서 직접 새 테이블을 작성할 수 있습니다. 다음 수집 방법을 사용하여 테이블을 작성할 수 있습니다.
-
Iceberg 복사 로더를 사용하여 데이터를 수집하는 중입니다.
-
Spark를 사용하여 데이터를 수집합니다.
컬럼에서 ALTER TABLE 조작 수행
이제 Iceberg 데이터 소스를 사용하여 다음 데이터 유형 변환을 위해 컬럼에서 ALTER TABLE 조작을 수행할 수 있습니다.
-
정수에서 bigint로
-
부동에서 double로
-
decimal (num1, dec_digits) 에서 decimal (num2, dec_digits) 로, 여기서 num2>num1입니다.
정렬된 파일을 사용하여 조회 성능 향상
Apache Iceberg 데이터 소스를 사용하면 정렬된 파일을 생성하여 쿼리 결과 지연 시간을 줄이고 Presto ( Java )의 성능을 개선할 수 있습니다. Ceberg 테이블의 데이터는 각 파일 내에서 쓰기 프로세스 중에 정렬됩니다.
sorted_by
테이블 특성을 사용하여 데이터를 정렬하는 순서를 구성할 수 있습니다. 테이블을 작성할 때 정렬과 관련된 하나 이상의 컬럼 배열을 지정하십시오. 이 기능을 사용하지 않으려면 세션 특성 sorted_writing_enabled
를 false로 설정하십시오.
2024년 1월 31일-버전 1.1.1
watsonx.data 의 새 버전은 2024년 1월에 출시되었습니다.
이번 릴리스에는 다음과 같은 기능 및 업데이트가 포함되어 있습니다:
IBM Data Virtualization Manager for z/OS® 커넥터
이제 새 IBM Data Virtualization Manager for z/OS® 커넥터를 사용하여 데이터를 이동, 복제 또는 변환하지 않고 IBM Z® 를 읽고 쓸 수 있습니다. 자세한 정보는 IBM Data Virtualization Manager 데이터 소스에 연결 을 참조하십시오.
Teradata 커넥터가 다중 ALTER TABLE
문에 대해 사용으로 설정됨
Teradata 커넥터는 이제 ALTER TABLE RENAME TO
, ALTER TABLE DROP COLUMN
및 ALTER TABLE RENAME COLUMN column_name TO new_column_name
문을 지원합니다.
시간 여행 조회 지원
빙산 커넥터Presto (Java ) 이제 시간 여행 쿼리를 지원합니다.
이제 format_version
특성이 현재 버전을 표시합니다.
이제 format_version
특성은 Iceberg 테이블을 작성할 때 올바른 값 (현재 버전) 을 표시합니다.
2023년 11월 29일-버전 1.1.0
watsonx.data 의 새 버전은 2023년 11월에 출시되었습니다.
이번 릴리스에는 다음과 같은 기능 및 업데이트가 포함되어 있습니다:
Presto (Java ) 대소문자 구분 동작
그만큼Presto (Java ) 동작이 대소문자 구분에서 대소문자 구분으로 변경되었습니다. 이제 데이터베이스에서와 같이 원래 케이스 형식으로 오브젝트 이름을 제공할 수 있습니다. 자세한 내용은 다음을 참조하세요.대소문자 구분 검색 구성Presto(Java).
롤백 기능
롤백 기능을 사용하여 Iceberg 테이블에 대한 스냅샷을 롤백하거나 롤 포워드할 수 있습니다.
데이터 정의 언어 (DDL) 변경사항 캡처
이제 이벤트 리스너를 사용하여 watsonx.data 에서 DDL 변경사항을 캡처하고 추적할 수 있습니다. 자세한 정보는 DDL 변경사항 캡처 를 참조하십시오.
Spark를 사용하여 데이터 수집
이제 Apache Spark에 의해 구동되는 IBM Analytics Engine을 사용하여 watsonx.data에서 수집 작업을 실행할 수 있습니다.
자세한 정보는 Spark를 사용하여 데이터 수집 을 참조하십시오.
Db2 및 Netezza Performance Server
이제 watsonx.data 콘솔에서 Db2 또는 Netezza Performance Server 엔진을 등록할 수 있습니다.
자세한 정보는 엔진 등록 을 참조하십시오.
새 커넥터
이제 watsonx.data 의 커넥터를 사용하여 다음 유형의 데이터베이스에 대한 연결을 설정할 수 있습니다.
- Teradata
- Delta Lake
- Elasticsearch
- SingleStoreDB
- Snowflake
자세한 정보는 데이터베이스 추가 를 참조하십시오.
AWS EMR
이제 Amazon Web Services Elastic MapReduce (AWS EMR) 에서 Spark 애플리케이션을 실행하여 watsonx.data Spark 유스 케이스를 달성할 수 있습니다.
- 데이터 수집
- 데이터 조회
- 테이블 유지보수
자세한 정보는 AWS EMR for Spark 유스 케이스 사용 을 참조하십시오.
2023년 7월 7일-버전 1.0.0
watsonx.data 는 데이터 웨어하우스 및 데이터 레이크 모델의 요소를 결합하는 새로운 개방형 아키텍처입니다. watsonx.data 에서 사용 가능한 동급 최고의 기능 및 최적화를 통해 차세대 데이터 분석 및 자동화를 위한 최적의 선택을 할 수 있습니다. 첫 번째 릴리스 (watsonx.data 1.0.0) 에서는 다음 기능이 지원됩니다.
- 생성, 크기 조정, 일시 중지, 재개 및 삭제Presto (Java ) 쿼리 엔진
- 엔진과 카탈로그 연관 및 연관 해제
- 카탈로그 오브젝트 탐색
- 데이터베이스-카탈로그 쌍 추가 및 삭제
- 데이터베이스 신임 정보 업데이트
- 버킷 카탈로그 쌍 추가 및 삭제
- 버킷 오브젝트 탐색
- 데이터 로드
- 데이터 탐색
- 데이터 조회
- 조회 히스토리