参数和变量

ibm-lh 实用程序支持各种参数和变量，可通过 "ibm-lh data-copy 命令调用。 下表列出了参数和相应的详细信息。

以下参数的详细内容无法在表格中列出，因此单独列出。

系统配置

这 system-config 参数指的是文件，用于指定系统相关的参数。

对于命令行，参数声明如下:

--system-config /path/to/systemconfig/file

系统配置参数的格式如下所示:

[system-config]
<param_name1>:<param_val>
<param_name2>:<param_val>
<param_name3>:<param_val>
...

目前，仅支持 memory-limit 参数。 此参数指定摄入作业可以使用的 watsonx.data 中的最大内存。 内存限制的默认值为 500M。 限制可以以字节、K、M 或 G 为单位。 system-config 适用于 PRESTO，SPARK_LEGACY 和 SPARK 采集方式。

以下是一些例子，说明如何 memory-limit 可以在系统配置文件中指定参数。

[system-config]
memory-limit:500M

[system-config]
memory-limit:5000K

[system-config]
memory-limit:1G

[system-config]
memory-limit:10000000 #This is in bytes

memory-limit 参数适用于 PRESTO 摄入方式。

分段式货位

此参数适用于 PRESTO 采集方式。

分段式货位用于:

• CSV 文件或文件夹摄入
• 本地 Parquet 文件或文件夹摄入。
• S3 Parquet 文件摄入
• 在某些情况下，当 S3 Parquet 文件夹中的一个或多个源文件包含特殊列类型 (例如 TIME) 或与不同列类型相关联时。

对于通过 CLI 执行的采集作业，登台存储区必须是与 Hive 目录关联的同一存储区。 只能在 Hive 目录中进行登台。

内部 MinIO 存储区 (iceberg-data，hive-data，wxd-milvus 和 wxd-system) 及其关联的目录无法用于登台，因为其端点不可在外部访问。 用户可以使用自己的存储区，这些存储区公开并可供外部连接访问。

模式文件规范

模式参数指向模式文件。 模式文件可用于指定 CSV 文件属性，例如，字段定界符，行定界符，转义字符，编码以及 CSV 文件中是否存在头。 此参数适用于 PRESTO，SPARK_LEGACY 和 SPARK 摄入方式。

以下是模式文件规范:

[CSV]
DELIMITER:<delim> #default ','

#LINE_DELIMITER:
#A single char delimiter other than ' '(blank), need not be enclosed in quotes.
#Must be enclosed in quotes if it is one of:  '\n' for newline, '\t' for TAB, ' ' for space.
LINE_DELIMITER:<line_delim> #default '\n'

HEADER:<true|false> #default 'true'
#HEADER is a mandatory entry within schema file.

#single character value
ESCAPECHAR:<escape_char>   #default '\\'

#Encoding (Example:"utf-8")
ENCODING:<encoding>    #default None

Presto 收录支持的编码值直接依赖于 Python 支持的编码值，而 Spark 收录支持的编码值直接依赖于 Java 支持的编码值。

除 HEADER 之外的编码值必须用单引号括起来。

下面是模式规范的一个示例：

$ more /tmp/schema.cfg
[CSV]
DELIMITER:','
HEADER:false
LINE_DELIMITER:'\n'

日志目录

将在日志目录中生成摄取日志文件。 缺省情况下，采集日志文件生成为 /tmp/ingest.log。 通过使用 --log-directory 参数，可以指定摄入日志文件的新位置。 将为每个摄取命令调用创建单独的日志文件。 新日志文件名的格式为 ingest_<timestamp)_<pid>.log。 在调用 ibm-lh ingest 工具之前，日志目录必须存在。

此参数仅适用于 PRESTO，SPARK_LEGACY，和 SPARK 摄取模式。

使用命令行时的示例:

ibm-lh data-copy --source-data-files s3://cust-bucket/warehouse/a_source_file1.csv,s3://cust-bucket/warehouse/a_source_file2.csv
--staging-location s3://cust-bucket/warehouse/staging/
--target-table iceberg_target_catalog.ice_schema.cust_tab1
--ingestion-engine-endpoint "hostname=localhost,port=8080"
--create-if-not-exist
--log-directory /tmp/mylogs

使用配置文件时的示例:

ibm-lh data-copy --ingest-config ext.cfg --log-directory /tmp/mylogs

目标表

处理用于采集的表和模式名称中的特殊字符的能力受底层引擎 (Presto，旧 Spark 和 Spark) 及其支持的特殊字符的限制。 当使用带有特殊字符的模式或表名称时，Spark 不会接受所有特殊字符，Presto、传承火花。 请参阅文档以获取特殊字符支持。

用于数据迁移的目标表的 SQL 标识为 <catalog>.<schema>.<table>。 使用双引号“或反引号`来转义带有特殊字符的部分。

示例：

`ibm-lh data-copy --target-table 'catalog."schema 2.0"."my table!"'`

ibm-lh data-copy --target-table 'catalog.`schema 2.0`.`my table!`'

`ibm-lh data-copy --target-table catalog.'"schema 2.0"'.'"my table!"'`

ibm-lh data-copy --target-table "catalog.\`schema 2.0\`.\`my table!\`"

`ibm-lh data-copy --target-table catalog.\"schema\ 2.0\".\"my\ table!\"`

双引号“和反引号”均可使用，但不能混合使用引号样式。 要在标识符内包含一个字面引号，请将引号字符（如""或 ``）加倍。

从watsonx.data 2.0.0及以后版本开始，“target-tables 已被弃用，必须使用”target-table。