データ取り込みについて
データの取り込みは、IBM® watsonx.dataにデータをインポートしてロードするプロセスです。 watsonx.dataのユーザー・インターフェース(UI)から、データ・マネージャーページのインジェスト・データモジュールを使用して、安全かつ簡単にデータをロードすることができます。 また、ファイルからテーブルを作成オプションを使用して、ローカルまたはリモートのデータファイルを取り込んでテーブルを作成することもできます。
データ・ファイルを watsonx.dataに取り込むと、照会の実行時に表スキーマが生成され、推論されます。 インジェストされるファイルは、同じフォーマットタイプと同じスキーマでなければなりません。watsonx.dataは、取り込まれるソースファイルに基づいてスキーマを自動検出します。
以下は、データ取り込みの要件や動作の一部である:
- スキーマの展開はサポートされていません。
- 対象テーブルは氷山フォーマットのテーブルでなければならない。
- IBM Storage Ceph、IBM Cloud Object Storage (COS)、AWS S3 および MinIO オブジェクト ストレージがサポートされています。
- オブジェクト・ストレージの
pathStyleAccessプロパティーはサポートされていません。 - ソース・データ・ファイルとして、.txt、.csv、Parquet、JSON、ORC、Avro.ファイル形式がサポートされています。
- ローカルでの取り込みの場合、ファイルの累積サイズの上限は500MB以内でなければならない。
- 2MBを超えるParquet、JSON、ORC、Avro.ファイルはプレビューできませんが、正常にインジェストされます。
- 複雑なネストされたオブジェクトや配列を含むJSONファイルは、UIでプレビューしてはならない。
- 複雑なJSONファイルはそのままインジェストされ、テーブル・エントリとして配列が生成される。 これは最適なデータの可視化と分析には推奨されません。
- JSONファイル内のキーは、適切な解析と解釈のために引用符で囲む必要があります。
CLI を使用したデータのロードまたは取り込み
watsonx.data での取り込みジョブは、 ibm-lh ツールを使用して実行できます。 CLI を使用して取り込みジョブを実行するには、ツールを ibm-lh-client からプルし、ローカル・システムにインストールする必要があります。 ibm-lh-client パッケージをインストールし、 ibm-lh ツールを使用して取り込みを行う方法について詳しくは、
ibm-lh-client のインストール および ibm-lh コマンド・ライン・ユーティリティーのセットアップを参照してください。
ibm-lh-client の Client パッケージは現在非推奨であり、将来のリリースで削除される予定です。 IBM ibm-lh ツールは IBM CPDCTL CLI でサポートされる ./cpdctl wx-data ingestion に置き換えられる。 IBM CPDCTL CLI の使用方法については、 IBM cpdctl を参照。
ibm- lh ツールと ./cpdctl wx-data ingestion コマンドは以下の機能をサポートしています:
-
ソース・ファイルまたはターゲット表に基づくスキーマのオートディスカバリー。
-
CSV ファイルの拡張表構成オプション:
- 区切り文字
- ヘッダー
- ファイルのエンコード
- 行区切り文字
- エスケープ文字
-
S3およびローカルのParquetファイルの単一ファイル、複数ファイル、または単一フォルダ(サブフォルダなし)の取り込み。
-
S3とローカルCSVファイルの単一ファイル、複数ファイル、または単一フォルダ(サブフォルダなし)の取り込み。