パラメータと変数

ibm-lhユーティリティは、'ibm-lh data-copy コマンドで呼び出せるさまざまなパラメータと変数をサポートしている。 以下の表は、パラメータとその詳細を示したものである。

以下のパラメータは、表では収まりきらない詳細があるため、別のセクションに記載している。

システム構成

の system-config パラメータはファイルを参照し、システム関連のパラメータを指定するために使用されます。

コマンド行の場合、パラメーターは次のように宣言されます。

--system-config /path/to/systemconfig/file

システム構成パラメーターの形式は次のとおりです。

[system-config]
<param_name1>:<param_val>
<param_name2>:<param_val>
<param_name3>:<param_val>
...

現在、memory-limit パラメーターのみがサポートされています。 このパラメーターは、取り込みジョブで使用できる最大メモリーを watsonx.data で指定します。 メモリ制限のデフォルト値は 500 M です。 制限はバイト、K、M、または G 単位で指定できます。 system-config は、 PRESTO、 SPARK_LEGACY、および SPARK 取り込みモードに適用できます。

以下は、memory-limit パラメータはシステム設定ファイルで指定できます。

[system-config]
memory-limit:500M

[system-config]
memory-limit:5000K

[system-config]
memory-limit:1G

[system-config]
memory-limit:10000000 #This is in bytes

memory-limit パラメーターは、 PRESTO 取り込みモードに適用できます。

ステージング・ロケーション

このパラメーターは、 PRESTO 取り込みモードに適用されます。

ステージング・ロケーションは、以下の目的で使用されます。

• CSV ファイルまたはフォルダーの取り込み
• ローカル Parquet ファイルまたはフォルダーの取り込み。
• S3 Parquet ファイルの取り込み
• 状況によっては、 S3 Parquet フォルダー内のソース・ファイルに TIME などの特殊な列タイプが含まれているか、異なる列タイプに関連付けられている場合があります。

CLI を使用した取り込みジョブの場合、ステージング・バケットは、 Hive カタログに関連付けられているバケットと同じでなければなりません。 ステージングは、 Hive カタログでのみ可能です。

内部 MinIO バケット (iceberg-data、hive-data、wxd-milvus、wxd-system) およびそれらの関連カタログは、外部からアクセスできないため、ステージングに使用できません。 ユーザーは、外部接続によって公開され、アクセス可能な独自のストレージ・バケットを使用できます。

スキーマ・ファイル仕様

schema パラメーターは、スキーマ・ファイルを指します。 スキーマ・ファイルを使用して、CSV ファイルのプロパティー (フィールド区切り文字、行区切り文字、エスケープ文字、エンコード、CSV ファイルにヘッダーが存在するかどうかなど) を指定できます。 このパラメーターは、 PRESTO、 SPARK_LEGACY、および SPARK の各取り込みモードに適用されます。

以下に、スキーマ・ファイル仕様を示します。

[CSV]
DELIMITER:<delim> #default ','

#LINE_DELIMITER:
#A single char delimiter other than ' '(blank), need not be enclosed in quotes.
#Must be enclosed in quotes if it is one of:  '\n' for newline, '\t' for TAB, ' ' for space.
LINE_DELIMITER:<line_delim> #default '\n'

HEADER:<true|false> #default 'true'
#HEADER is a mandatory entry within schema file.

#single character value
ESCAPECHAR:<escape_char>   #default '\\'

#Encoding (Example:"utf-8")
ENCODING:<encoding>    #default None

Presto インジェストでサポートされるエンコーディング値は、 Python でサポートされるエンコーディング値に直接依存し、Sparkインジェストでサポートされるエンコーディング値は、 Java でサポートされるエンコーディング値に直接依存する。

HEADER 以外のエンコーディング値は、シングルクォーテーションで囲む必要があります。

以下はスキーマ仕様の例である：

$ more /tmp/schema.cfg
[CSV]
DELIMITER:','
HEADER:false
LINE_DELIMITER:'\n'

ログ・ディレクトリー

INGEST ログ・ファイルは、ログ・ディレクトリーに生成されます。 デフォルトでは、取り込みログ・ファイルは /tmp/ingest.log として生成されます。 --log-directory パラメーターを使用して、ログ・ファイルを取り込むための新しい場所を指定できます。 INGEST コマンド呼び出しごとに別個のログ・ファイルが作成されます。 新しいログ・ファイル名の形式は、 ingest_<timestamp)_<pid>.log です。 ibm-lh INGEST ツールを呼び出す前に、ログ・ディレクトリーが存在している必要があります。

このパラメータは、コマンドラインオプションでのみ適用されます。PRESTO 、SPARK_LEGACY 、 そして SPARK 摂取モード。

コマンド行を使用する場合の例:

ibm-lh data-copy --source-data-files s3://cust-bucket/warehouse/a_source_file1.csv,s3://cust-bucket/warehouse/a_source_file2.csv
--staging-location s3://cust-bucket/warehouse/staging/
--target-table iceberg_target_catalog.ice_schema.cust_tab1
--ingestion-engine-endpoint "hostname=localhost,port=8080"
--create-if-not-exist
--log-directory /tmp/mylogs

構成ファイルを使用する場合の例:

ibm-lh data-copy --ingest-config ext.cfg --log-directory /tmp/mylogs

ターゲット表

取り込みのためにテーブル名およびスキーマ名の特殊文字を処理する機能は、基礎となるエンジン (Presto、レガシー Spark、Spark)、およびそれらがサポートする特殊文字によって制限されます。 特殊文字を含むスキーマ名またはテーブル名を使用する場合、Sparkではすべての特殊文字が受け入れられるわけではありません。Presto、レガシースパーク。 特殊文字のサポートについては、資料を参照してください。

データ・マイグレーションのターゲット表の SQL ID は <catalog>.<schema>.<table> です。 特殊文字を含む部分をエスケープするには、二重引用符 " またはバッククォート ` を使用します。

例：

`ibm-lh data-copy --target-table 'catalog."schema 2.0"."my table!"'`

ibm-lh data-copy --target-table 'catalog.`schema 2.0`.`my table!`'

`ibm-lh data-copy --target-table catalog.'"schema 2.0"'.'"my table!"'`

ibm-lh data-copy --target-table "catalog.\`schema 2.0\`.\`my table!\`"

`ibm-lh data-copy --target-table catalog.\"schema\ 2.0\".\"my\ table!\"`

ダブルクォーテーション「 」とバッ クティック「 」の両方が使えますが、クォーテーションマークのスタイルを混在させる ことはできません。 リテラル引用符を識別子の中に入れるには、引用符を二重にしてください（""や``など）。

watsonx.dataバージョン2.0.0以降では、'target-tables は非推奨となり、'target-table 使用する必要があります。