データ取り込みについて

データの取り込みは、IBM® watsonx.dataにデータをインポートしてロードするプロセスです。 watsonx.dataのユーザー・インターフェース(UI)から、データ・マネージャーページのインジェスト・データモジュールを使用して、安全かつ簡単にデータをロードすることができます。 また、ファイルからテーブルを作成オプションを使用して、ローカルまたはリモートのデータファイルを取り込んでテーブルを作成することもできます。

データ・ファイルを watsonx.dataに取り込むと、照会の実行時に表スキーマが生成され、推論されます。 インジェストされるファイルは、同じフォーマットタイプと同じスキーマでなければなりません。watsonx.dataは、取り込まれるソースファイルに基づいてスキーマを自動検出します。

以下は、データ取り込みの要件や動作の一部である:

  • スキーマの展開はサポートされていません。
  • 対象テーブルは氷山フォーマットのテーブルでなければならない。
  • IBM Storage Ceph、IBM Cloud Object Storage (COS)、AWS S3 および MinIO オブジェクト ストレージがサポートされています。
  • オブジェクト・ストレージの pathStyleAccess プロパティーはサポートされていません。
  • ソース・データ・ファイルとして、.txt、.csv、Parquet、JSON、ORC、Avro.ファイル形式がサポートされています。
  • ローカルでの取り込みの場合、ファイルの累積サイズの上限は500MB以内でなければならない。
  • 2MBを超えるParquet、JSON、ORC、Avro.ファイルはプレビューできませんが、正常にインジェストされます。
  • 複雑なネストされたオブジェクトや配列を含むJSONファイルは、UIでプレビューしてはならない。
  • 複雑なJSONファイルはそのままインジェストされ、テーブル・エントリとして配列が生成される。 これは最適なデータの可視化と分析には推奨されません。
  • JSONファイル内のキーは、適切な解析と解釈のために引用符で囲む必要があります。

CLI を使用したデータのロードまたは取り込み

watsonx.data での取り込みジョブは、 ibm-lh ツールを使用して実行できます。 CLI を使用して取り込みジョブを実行するには、ツールを ibm-lh-client からプルし、ローカル・システムにインストールする必要があります。 ibm-lh-client パッケージをインストールし、 ibm-lh ツールを使用して取り込みを行う方法について詳しくは、 ibm-lh-client のインストール および ibm-lh コマンド・ライン・ユーティリティーのセットアップを参照してください。

ibm-lh-client の Client パッケージは現在非推奨であり、将来のリリースで削除される予定です。 IBM ibm-lh ツールは IBM CPDCTL CLI でサポートされる ./cpdctl wx-data ingestion に置き換えられる。 IBM CPDCTL CLI の使用方法については、 IBM cpdctl を参照。

ibm- lh ツールと ./cpdctl wx-data ingestion コマンドは以下の機能をサポートしています:

  • ソース・ファイルまたはターゲット表に基づくスキーマのオートディスカバリー。

  • CSV ファイルの拡張表構成オプション:

    • 区切り文字
    • ヘッダー
    • ファイルのエンコード
    • 行区切り文字
    • エスケープ文字
  • S3およびローカルのParquetファイルの単一ファイル、複数ファイル、または単一フォルダ(サブフォルダなし)の取り込み。

  • S3とローカルCSVファイルの単一ファイル、複数ファイル、または単一フォルダ(サブフォルダなし)の取り込み。