`wx-data` 명령 및 사용법

wx-data 명령에는 IBM® watsonx.data 에 특정한 다양한 작업을 수행할 수 있는 다양한 명령이 추가로 포함되어 있습니다. 이 항목에는 수행할 수 있는 작업에 대한 간략한 설명과 함께 명령이 나열되어 있습니다.

wx-data 명령은 watsonx.data 에서 데이터 수집, 엔진, 스토리지 및 데이터 소스 관리와 같은 작업을 수행합니다.

구문:

./cpdctl wx-data [command] [options]

wx-data 명령은 다음 명령을 지원합니다:

ingestion
engine
bucket
database
sparkjob
tablemaint
service
component
access-control

사용 방법 `wx-data` 명령 --help (-h)

wx-data 플러그인의 모든 명령을 나열하려면:

./cpdctl wx-data --help

wx-data 플러그인에서 특정 명령에 대한 모든 옵션과 해당 설명에 대한 세부 정보를 확인합니다:

./cpdctl wx-data [command] --help

예를 들어, 다음과 같습니다.

./cpdctl wx-data ingestion -h
NAME:
   ingestion - Commands for Ingestion resource.

USAGE:
   cpdctl wx-data ingestion [action]

COMMANDS:
   list     List ingestion jobs.
   create   Create an ingestion job.
   get      Get ingestion job details.

GLOBAL OPTIONS:
      --cpd-config string   Configuration file path
      --cpdconfig string    [Deprecated] Use --cpd-config instead
  -h, --help                Show help
      --profile string      Name of the configuration profile to use
  -q, --quiet               Suppresses verbose messages.
      --raw-output          If set to true, single values in JSON output mode are not surrounded by quotes

Use "cpdctl wx-data ingestion service-command --help" for more information about a command.

작업을 실행하는 데 사용할 수 있는 모든 옵션과 인수의 세부 정보를 보려면 wx-data 명령어를 사용합니다:

./cpdctl wx-data [command] [options] --help

Wx-data 플러그인을 사용하여 작업을 실행하려면 다음과 같이 하세요:

./cpdctl wx-data [command] [options]

수집

ingestion 명령은 watsonx.data 에서 다양한 수집 작업을 실행하는 데 사용됩니다.

구문:

./cpdctl wx-data ingestion [options]

ingestion 명령은 다음 명령을 추가로 지원합니다:

수집별로 지원되는 명령어
명령	설명
`./cpdctl wx-data ingestion list`	watsonx.data 인스턴스에서 실행된 수집 작업을 나열합니다.
`./cpdctl wx-data ingestion create`	watsonx.data 인스턴스에서 수집 작업을 생성합니다.
`./cpdctl wx-data ingestion get`	watsonx.data 인스턴스에서 실행된 수집 작업의 세부 정보를 가져옵니다.

엔진

engine 명령은 watsonx.data 에서 다양한 엔진 관련 작업을 실행하는 데 사용됩니다.

구문:

./cpdctl wx-data engine [options]

engine 명령은 다음 명령을 추가로 지원합니다:

엔진별 지원 명령어
명령	설명
`./cpdctl wx-data engine list`	watsonx.data 인스턴스에서 사용 가능한 모든 엔진을 나열합니다.
`./cpdctl wx-data engine create`	watsonx.data 인스턴스에서 엔진을 생성하거나 등록합니다.
`./cpdctl wx-data engine delete`	watsonx.data 인스턴스에서 엔진을 삭제합니다.
`./cpdctl wx-data engine attach`	watsonx.data 인스턴스에서 카탈로그를 Presto 엔진에 연결합니다.
`./cpdctl wx-data engine detach`	watsonx.data 인스턴스에서 Presto 엔진과 연결된 카탈로그를 분리합니다.

버킷

bucket 명령은 watsonx.data 에서 다양한 스토리지 관련 작업을 실행하는 데 사용됩니다.

구문:

./cpdctl wx-data bucket [options]

bucket 명령은 다음 명령을 추가로 지원합니다:

watsonx.data 새로 생성된 스토리지를 관련 카탈로그 없이 자동으로 활성화하여 수동 활성화가 필요하지 않습니다.

버킷별로 지원되는 명령어
명령	설명
`./cpdctl wx-data bucket list`	watsonx.data 인스턴스에서 사용 가능한 모든 스토리지를 나열합니다.
`./cpdctl wx-data bucket create`	watsonx.data 인스턴스에 스토리지를 등록합니다. `create` 옵션을 사용하면 외부 저장소의 비밀 사용( HashiCorp )이 활성화됩니다.
`./cpdctl wx-data bucket get`	watsonx.data 인스턴스에서 등록된 스토리지의 세부 정보를 가져옵니다.
`./cpdctl wx-data bucket delete`	watsonx.data 인스턴스에서 스토리지를 삭제합니다.
`./cpdctl wx-data bucket activate`	IBM Cloud 인스턴스에서만 watsonx.data 에서 스토리지 버킷을 활성화합니다.
`./cpdctl wx-data bucket deactivate`	IBM Cloud 인스턴스에서만 watsonx.data 에서 스토리지 버킷을 비활성화합니다. watsonx.data 2.2.1 버전에서는 이 옵션이 지원되지 않습니다.
`./cpdctl wx-data bucket list-objects`	버킷 내의 모든 객체를 나열합니다.

제한사항:

명령어를 list-objects 사용할 때, 객체 수가 많은 버킷은 API 시간 초과로 인해 모든 객체가 나열되지 않을 수 있습니다.
명령어와 list-objects 함께 --paginated 매개변수를 사용할 때 최상위 객체만 나열됩니다. 중첩된 객체는 기본적으로 확장되지 않습니다.
현재 ADLS 및 GCS 버킷에서는 를 사용하여 객체를 list-objects 나열하는 기능이 지원되지 않습니다.

데이터베이스

database 명령은 watsonx.data 에서 다양한 데이터 소스 관련 작업을 실행하는 데 사용됩니다.

구문:

./cpdctl wx-data database [options]

database 명령은 다음 명령을 추가로 지원합니다:

데이터베이스별로 지원되는 명령
명령	설명
`./cpdctl wx-data database list`	watsonx.data 인스턴스에서 사용 가능한 모든 데이터 소스를 나열합니다.
`./cpdctl wx-data database create`	watsonx.data 인스턴스에서 데이터 원본을 만들거나 추가합니다. `create` 옵션을 사용하면 외부 저장소의 비밀 사용( HashiCorp )이 활성화됩니다.
`./cpdctl wx-data database get`	watsonx.data 인스턴스에서 등록된 데이터 소스의 세부 정보를 가져옵니다.
`./cpdctl wx-data database delete`	watsonx.data 인스턴스에서 데이터 원본을 삭제합니다.

스파크잡

sparkjob 명령은 watsonx.data 버전 2.1.2 이상에서 다양한 스파크 관련 작업을 실행하는 데 사용됩니다.

구문:

./cpdctl wx-data sparkjob [options]

sparkjob 명령은 다음 명령을 추가로 지원합니다:

스파크잡에서 지원하는 명령어
명령	설명
`./cpdctl wx-data sparkjob list`	스파크 엔진에서 사용 가능한 모든 애플리케이션을 나열합니다.
`./cpdctl wx-data sparkjob create`	스파크 신청서를 제출합니다.
`./cpdctl wx-data sparkjob get`	스파크 애플리케이션의 상태를 확인합니다.

watsonx.data 에서 IBM cpdctl을 사용하여 스파크 신청서를 제출하는 방법에 대한 자세한 내용은 IBM Cloud 에서 IBM cpdctl을 사용하여 스파크 신청서 제출하기를 참조하세요.

테이블 유지

Tablemaint 명령은 watsonx.data 에서 다양한 Iceberg 테이블 유지 관리 작업을 실행하는 데 사용됩니다.

이는 이제 Amazon S3 저장소에만 적용됩니다.

구문:

./cpdctl wx-data tablemaint [options]

Tablemaint 명령은 다음 명령을 지원합니다:

테이블 관리자가 지원하는 명령
옵션	설명
`./cpdctl wx-data tablemaint rollback-to-snapshot`	테이블을 롤백하거나 특정 스냅샷 ID로 복원합니다.
`./cpdctl wx-data tablemaint rollback-to-timestamp`	특정 타임스탬프의 스냅샷으로 테이블을 롤백합니다.
`./cpdctl wx-data tablemaint set-current-snapshot`	테이블의 현재 스냅샷 ID를 설정합니다.
`./cpdctl wx-data tablemaint cherrypick-snapshot`	스냅샷의 변경 사항을 현재 테이블 상태로 체리픽합니다. 체리 피킹은 원본을 변경하거나 제거하지 않고 기존 스냅샷에서 새 스냅샷을 생성합니다.
`./cpdctl wx-data tablemaint expire-snapshot`	더 이상 필요하지 않은 이전 스냅샷과 해당 파일을 제거하세요.
`./cpdctl wx-data tablemaint remove-orphan`	아이스버그 테이블의 메타데이터 파일에서 참조되지 않아 '고아'로 간주될 수 있는 파일을 제거합니다.
`./cpdctl wx-data tablemaint rewrite-data`	데이터 파일을 다시 작성합니다.
`./cpdctl wx-data tablemaint rewrite-manifests`	스캔 계획을 최적화하기 위해 테이블에 대한 매니페스트를 다시 작성합니다.
`./cpdctl wx-data tablemaint register-table`	테이블을 만듭니다.

각 테이블 유지 관리 명령을 실행하면 다음 플래그가 나열됩니다:

Force : 값을 TRUE로 설정하면 실행할 SQL 쿼리가 인쇄됩니다.
디버그 : 값을 TRUE로 설정하면 Spark 애플리케이션 파일의 복사본이 컴퓨터에 저장됩니다.

watsonx.data 에서 IBM cpdctl을 사용하여 Iceberg 테이블 유지 관리 작업을 수행하는 방법에 대한 자세한 내용은 IBM Cloud 에서 Spark 테이블 유지 관리를 참조하세요.

서비스

service 명령은 watsonx.data 에서 다양한 서비스 가능성 관련 작업을 실행하는 데 사용됩니다.

구문:

./cpdctl wx-data service [options]

service 명령은 다음 명령을 추가로 지원합니다:

서비스별로 지원되는 명령어
명령	설명
`./cpdctl wx-data service list-tables`	watsonx.data 인스턴스에 있는 하이브 또는 아이스버그 커넥터의 모든 테이블 이름을 나열합니다.
`./cpdctl wx-data service get-qhmm-config`	watsonx.data 인스턴스에서 qhmm 활성화 버킷 이름을 가져옵니다.
`./cpdctl wx-data service monitor`	watsonx.data 인스턴스에서 통계 및 qhmm 관련 쿼리를 실행합니다.
`./cpdctl wx-data service generate-engine-dump`	Presto 작업자 또는 코디네이터 watsonx.data 인스턴스에 특정한 힙 또는 스레드 덤프를 생성합니다.

컴포넌트

component 명령은 watsonx.data 에서 다양한 서비스 가능성 관련 작업을 실행하는 데 사용됩니다.

구문:

./cpdctl wx-data component [options]

component 명령은 다음 명령을 추가로 지원합니다:

컴포넌트별 지원 명령
명령	설명
`./cpdctl wx-data component get-mds-status`	watsonx.data 인스턴스에서 메타데이터 서비스(MDS)에 대한 구성을 가져옵니다.
`./cpdctl wx-data component get-ces-status`	watsonx.data 인스턴스에서 CES 상태를 확인합니다.
`./cpdctl wx-data component get-cas-cpg-endpoint`	watsonx.data 인스턴스에서 CPG 및 CAS 엔드포인트를 가져옵니다.
`./cpdctl wx-data component get-hms-status`	watsonx.data 인스턴스에 모든 HMS 메타 스토어를 나열합니다.
`./cpdctl wx-data component get-console-status`	watsonx.data 인스턴스 watsonx.data 인스턴스의 콘솔 상태를 확인합니다.

액세스 제어

이 access-control 명령어는 CPDCTL 버전부터 watsonx.data 리소스에 대한 액세스 정책 1.8.33 관리를 위해 사용됩니다.

구문:

./cpdctl wx-data access-control [options]

access-control 명령은 다음 명령을 추가로 지원합니다:

액세스 제어별로 지원되는 명령
명령	설명
`./cpdctl wx-data access-control list-users-groups`	watsonx.data 인스턴스에 액세스할 수 있는 사용자 및 그룹을 가져옵니다.
`./cpdctl wx-data access-control list-access`	리소스 액세스 정책을 나열합니다.
`./cpdctl wx-data access-control update-access`	리소스 액세스 정책을 업데이트합니다.
`./cpdctl wx-data access-control revoke-access`	리소스 액세스 정책을 취소합니다.

wx-data 명령 및 사용법