`wx-data` コマンドと使い方

wx-data コマンドには、さらにさまざまなコマンドがあり、 IBM® watsonx.data に特有のさまざまな操作を行うことができる。このトピックでは、実行可能なタスクの簡単な説明とともにコマンドの一覧を示します。

wx-data コマンドは、 watsonx.data でデータの取り込み、エンジン、ストレージ、データソースの管理などの操作を実行します。

構文:

./cpdctl wx-data [command] [options]

wx-data コマンドは以下のコマンドをサポートしている：

ingestion
engine
bucket
database
sparkjob
tablemaint
service
component
access-control

`wx-data` コマンドの使い方 --help (-h)

wx-data プラグインの全コマンドをリストアップする：

./cpdctl wx-data --help

wx-data プラグインの特定のコマンドのすべてのオプションとその説明の詳細を取得します：

./cpdctl wx-data [command] --help

以下に例を示します。

./cpdctl wx-data ingestion -h
NAME:
   ingestion - Commands for Ingestion resource.

USAGE:
   cpdctl wx-data ingestion [action]

COMMANDS:
   list     List ingestion jobs.
   create   Create an ingestion job.
   get      Get ingestion job details.

GLOBAL OPTIONS:
      --cpd-config string   Configuration file path
      --cpdconfig string    [Deprecated] Use --cpd-config instead
  -h, --help                Show help
      --profile string      Name of the configuration profile to use
  -q, --quiet               Suppresses verbose messages.
      --raw-output          If set to true, single values in JSON output mode are not surrounded by quotes

Use "cpdctl wx-data ingestion service-command --help" for more information about a command.

wx-dataコマンドで利用可能な全てのオプションと引数の詳細を取得する：

./cpdctl wx-data [command] [options] --help

wx-dataプラグインを使って操作を実行する：

./cpdctl wx-data [command] [options]

取り込み

ingestion コマンドは、 watsonx.data でさまざまな取り込み操作を実行するために使用される。

構文:

./cpdctl wx-data ingestion [options]

ingestion コマンドはさらに以下のコマンドをサポートしている：

インジェストでサポートされるコマンド
コマンド	説明
`./cpdctl wx-data ingestion list`	watsonx.data インスタンスで実行されたインジェストジョブを一覧表示します。
`./cpdctl wx-data ingestion create`	watsonx.data インスタンスにインジェスト・ジョブを作成する。
`./cpdctl wx-data ingestion get`	watsonx.data インスタンスで実行された取り込みジョブの詳細を取得する。

エンジン

engine コマンドは、 watsonx.data でエンジン関連のさまざまな操作を実行するために使用される。

構文:

./cpdctl wx-data engine [options]

engine コマンドはさらに以下のコマンドをサポートしている：

エンジン別対応コマンド
コマンド	説明
`./cpdctl wx-data engine list`	watsonx.data インスタンスで利用可能なすべてのエンジンを一覧表示します。
`./cpdctl wx-data engine create`	watsonx.data インスタンスにエンジンを作成または登録する。
`./cpdctl wx-data engine delete`	watsonx.data インスタンスからエンジンを削除します。
`./cpdctl wx-data engine attach`	watsonx.data インスタンスの Presto エンジンにカタログを関連付けます。
`./cpdctl wx-data engine detach`	watsonx.data インスタンスの Presto エンジンに関連付けられているカタログの関連付けを解除します。

バケット

bucket コマンドは、 watsonx.data でストレージ関連のさまざまな操作を実行するために使用される。

構文:

./cpdctl wx-data bucket [options]

bucket コマンドはさらに以下のコマンドをサポートしている：

watsonx.data 関連するカタログを必要とせずに新しく作成されたストレージを自動的に有効化し、手動での有効化の必要性を排除します。

バケット別対応コマンド
コマンド	説明
`./cpdctl wx-data bucket list`	watsonx.data インスタンスで利用可能なすべてのストレージを一覧表示します。
`./cpdctl wx-data bucket create`	watsonx.data インスタンスにストレージを登録する。外部データ保管庫（ HashiCorp ）からのシークレットの使用は、 `create` オプションで有効になります。
`./cpdctl wx-data bucket get`	watsonx.data インスタンスに登録されているストレージの詳細を取得する。
`./cpdctl wx-data bucket delete`	watsonx.data インスタンスからストレージを削除する。
`./cpdctl wx-data bucket activate`	IBM Cloud インスタンスのみで watsonx.data のストレージバケットをアクティブにする。
`./cpdctl wx-data bucket deactivate`	IBM Cloud インスタンスのみで watsonx.data のストレージバケットを非アクティブにする。このオプションは watsonx.data 2.2.1 バージョンからはサポートされていません。
`./cpdctl wx-data bucket list-objects`	バケット内のすべてのオブジェクトを一覧表示します。

制限事項

list list-objects コマンドを使用する場合、オブジェクト数が非常に多いバケットでは、API タイムアウトによりすべてのオブジェクトが一覧表示されない可能性があります。
コマンド list-objects でパラメータ --paginated を使用する場合、最上位オブジェクトのみがリストされます。ネストされたオブジェクトはデフォルトでは展開されません。
現在、ADLSおよびGCSバケットでは、オブジェクトを列挙する機能 list-objects はサポートされていません。

データベース

database コマンドは、 watsonx.data でデータソース関連のさまざまな操作を実行するために使用されます。

構文:

./cpdctl wx-data database [options]

database コマンドはさらに以下のコマンドをサポートしている：

データベース別対応コマンド
コマンド	説明
`./cpdctl wx-data database list`	watsonx.data インスタンスで利用可能なすべてのデータソースを一覧表示します。
`./cpdctl wx-data database create`	watsonx.data インスタンスにデータソースを作成または追加する。外部データ保管庫（ HashiCorp ）からのシークレットの使用は、 `create` オプションで有効になります。
`./cpdctl wx-data database get`	watsonx.data インスタンスに登録されているデータソースの詳細を取得します。
`./cpdctl wx-data database delete`	watsonx.data インスタンスからデータソースを削除します。

スパークジョブ

sparkjob コマンドは、 watsonx.data バージョン 2.1.2 以降のスパーク関連のさまざまな操作の実行に使用される。

構文:

./cpdctl wx-data sparkjob [options]

sparkjob コマンドはさらに以下のコマンドをサポートしている：

sparkjobでサポートされているコマンド
コマンド	説明
`./cpdctl wx-data sparkjob list`	Sparkエンジンで利用可能なすべてのアプリケーションをリストアップします。
`./cpdctl wx-data sparkjob create`	Sparkの申請書を提出する。
`./cpdctl wx-data sparkjob get`	Sparkアプリケーションのステータスを取得する。

IBM Cloud の watsonx.data で IBM cpdctl を使用して Spark アプリケーションを提出する方法の詳細については、 IBM cpdctl を使用して Spark アプリケーションを提出するを参照してください。

テーブルマント

tablemaint コマンドは、 watsonx.data において、Iceberg のさまざまなテーブルメンテナンス操作を実行するために使用されます。

これは現在、ストレージ Amazon S3 にのみ適用されます。

構文:

./cpdctl wx-data tablemaint [options]

tablemaintコマンドは以下のコマンドをサポートしています：

tablemaintがサポートするコマンド
オプション	説明
`./cpdctl wx-data tablemaint rollback-to-snapshot`	ロールバック、または特定のスナップショットIDにテーブルをリストアします。
`./cpdctl wx-data tablemaint rollback-to-timestamp`	特定のタイムスタンプのスナップショットにテーブルをロールバックする。
`./cpdctl wx-data tablemaint set-current-snapshot`	テーブルの現在のスナップショットIDを設定します。
`./cpdctl wx-data tablemaint cherrypick-snapshot`	スナップショットから現在のテーブルの状態に変更をチェリーピックする。チェリーピックは、オリジナルのスナップショットを変更または削除することなく、既存のスナップショットから新しいスナップショットを作成します。
`./cpdctl wx-data tablemaint expire-snapshot`	不要になった古いスナップショットとそのファイルを削除する。
`./cpdctl wx-data tablemaint remove-orphan`	Iceberg テーブルのメタデータファイルで参照されておらず、「孤児」とみなされるファイルを削除する。
`./cpdctl wx-data tablemaint rewrite-data`	データファイルを書き換える。
`./cpdctl wx-data tablemaint rewrite-manifests`	スキャン計画を最適化するために、マニフェストをテーブル用に書き換える。
`./cpdctl wx-data tablemaint register-table`	テーブルを作成します。

各テーブル・メンテナンス・コマンドを実行すると、以下のフラグが表示されます：

Force : TRUEに設定すると、実行しようとしているSQLクエリが出力されます。
Debug : TRUEに設定すると、Sparkアプリケーションファイルのコピーがコンピュータに保存されます。

watsonx.data の IBM Cloud にある IBM cpdctl を使用した Iceberg テーブル・メンテナンス操作の詳細については、 Spark テーブル・メンテナンスを参照のこと。

サービス

service コマンドは、 watsonx.data でさまざまな保守性関連の操作を実行するために使用される。

構文:

./cpdctl wx-data service [options]

service コマンドはさらに以下のコマンドをサポートしている：

サービス別対応コマンド
コマンド	説明
`./cpdctl wx-data service list-tables`	watsonx.data インスタンス内のハイブまたは氷山コネクタのすべてのテーブル名を一覧表示します。
`./cpdctl wx-data service get-qhmm-config`	watsonx.data インスタンスで qhmm が有効になっているバケット名を取得する。
`./cpdctl wx-data service monitor`	watsonx.data インスタンスで stats および qhmm 関連のクエリを実行する。
`./cpdctl wx-data service generate-engine-dump`	Presto ワーカーまたはコーディネータ watsonx.data インスタンスに固有のヒープまたはスレッドダンプを生成します。

コンポーネント

component コマンドは、 watsonx.data でさまざまな保守性関連の操作を実行するために使用される。

構文:

./cpdctl wx-data component [options]

component コマンドはさらに以下のコマンドをサポートしている：

コンポーネント別対応コマンド
コマンド	説明
`./cpdctl wx-data component get-mds-status`	watsonx.data インスタンスのメタデータ・サービス(MDS)の設定を取得する。
`./cpdctl wx-data component get-ces-status`	watsonx.data インスタンスの CES ステータスを取得する。
`./cpdctl wx-data component get-cas-cpg-endpoint`	watsonx.data インスタンスの CPG および CAS エンドポイントを取得します。
`./cpdctl wx-data component get-hms-status`	watsonx.data インスタンス内のすべての HMS メタストアをリストする。
`./cpdctl wx-data component get-console-status`	watsonx.data インスタンス watsonx.data インスタンスのコンソールステータスをチェックする。

アクセス制御

この access-control コマンドは、CPDCTL バージョン以降 watsonx.data において、リソースへのアクセ 1.8.33 スポリシーを管理するために使用されます。

構文:

./cpdctl wx-data access-control [options]

access-control コマンドはさらに以下のコマンドをサポートしている：

アクセスコントロールでサポートされているコマンド
コマンド	説明
`./cpdctl wx-data access-control list-users-groups`	watsonx.data インスタンスにアクセスできるユーザーとグループを取得します。
`./cpdctl wx-data access-control list-access`	リソースのアクセスポリシーを一覧表示します。
`./cpdctl wx-data access-control update-access`	リソースのアクセスポリシーを更新する。
`./cpdctl wx-data access-control revoke-access`	リソースアクセスポリシーを取り消す。

wx-data コマンドと使い方