IBM Analytics Engine 无服务器实例的 CLI 插件
IBM Analytics Engine v3 CLI 提供命令行选项以与 Standard Serverless Spark 实例进行交互。 您可以使用 CLI 来管理实例和 Spark 应用程序。 有关无服务器 Analytics Engine 实例的更多信息，请参阅 无服务器实例中的体系结构和概念。
要运行 IBM Analytics Engine v3 CLI 命令，请使用 ibmcloud analytics-engine-v3 或 ibmcloud ae-v3。
先决条件
在本地系统上下载并安装 IBM Cloud CLI。 请参阅 IBM Cloud CLI 以安装 CLI。
安装 IBM Analytics Engine v3 CLI
通过运行以下命令来安装 IBM Analytics Engine v3 CLI:
ibmcloud plugin install analytics-engine-v3
以下帮助 CLI 命令显示 v3 CLI 支持以下 CLI 命令:
$ ibmcloud ae-v3 --help
NAME:
analytics-engine-v3 - Manage serverless Spark instances and run applications.
USAGE:
ibmcloud analytics-engine-v3 [command] [options]
ALIASES:
analytics-engine-v3, ae-v3
COMMANDS:
history-server Commands for HistoryServer resource.
instance Commands for Instance resource.
log-forwarding-config Commands for LogForwardingConfig resource.
spark-app Commands for SparkApp resource.
target All commands run after setting a target will be run on the target instance
OPTIONS:
-h, --help Show help
-j, --jmes-query string Provide a JMESPath query to customize output.
--output string Choose an output format - can be 'json', 'yaml', or 'table'. (default "table")
-q, --quiet Suppresses verbose messages.
-v, --version version for analytics-engine-v3
Use "ibmcloud analytics-engine-v3 service-command --help" for more information about a command.
设置目标实例
以下命令允许您设置要对其运行所有后续 CLI 命令的目标实例。
注: 如果在任何 v3 CLI 命令中显式传递实例标识，那么它将覆盖设置为目标的实例标识。
ibmcloud analytics-engine-v3 target [--instance-id INSTANCE-ID] [--unset-instance]
命令选项
- -i，-- instance-id
- 目标 Analytics Engine 实例的标识。 所有后续命令都针对目标实例运行。
- -- unset-实例
- 撤销目标实例设置
示例
以下示例显示如何设置目标实例:
$ ibmcloud ae-v3 target --instance-id d2189b-b729-61f-adc0-987001da52e3
...
Target instance d0f582f7-cbf4-4c64-bf7f-72efd21c9f32
Subsequent commands will be run against the target instance
以下示例显示了如何撤销目标实例:
$ ibmcloud ae-v3 target --unset-instance
...
Target instance d0f582f7-cbf4-4c64-bf7f-72efd21c9f32 revoked
No target instance is set
实例管理命令
将此命令用于实例管理。
ibmcloud analytics-engine-v3 instance --help
ibmcloud analytics-engine-v3 instance show
检索单个 Analytics Engine 实例的详细信息。
ibmcloud analytics-engine-v3 instance show [--id ID]
命令选项
-i和--id(字符串)-
要检索的 Analytics Engine 服务实例的 GUID。 指定时，将覆盖目标实例标识 (如果已设置)。 如果未设置目标实例，那么是必需的。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
以下示例显示如何在没有实例标识的情况下使用 show 命令。 将在目标实例上执行所请求的操作。
ibmcloud analytics-engine-v3 instance show --output json
以下示例显示如何将 show 命令与覆盖目标实例标识 (如果已定义) 的实例标识配合使用:
ibmcloud analytics-engine-v3 instance show \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
示例输出
输出如下：
{
"id" : "dc0e9889-eab2-4t9e-9441-566209499546",
"state" : "active",
"state_change_time" : "2021-04-21T04:24:01Z",
"default_runtime" : {
"spark_version" : "3.3"
},
"instance_home" : {
"guid" : "30d5c4a7-9fb7-4712-9039-a79417dec87b",
"provider" : "ibm-cos",
"type" : "objectstore",
"region" : "us-south",
"endpoint" : "s3.direct.us-south.cloud-object-storage.appdomain.cloud",
"bucket" : "ae-bucket-do-not-delete-dc0e9889-eab2-4t9e-9441-566209499546",
"hmac_access_key" : "eH****g=",
"hmac_secret_key" : "4d********76"
},
"default_config" : {
"spark.driver.memory" : "4g",
"spark.driver.cores" : 1
}
}
ibmcloud analytics-engine-v3 instance state
检索单个 Analytics Engine 实例的状态。
ibmcloud analytics-engine-v3 instance state [--id ID]
命令选项
-i和--id(字符串)-
要检索状态的 Analytics Engine 服务实例的 GUID。 指定时，将覆盖目标实例标识 (如果已设置)。 必需 (如果未设置目标实例)。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 instance state --output json
ibmcloud analytics-engine-v3 instance state \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
示例输出
{
"id" : "dc0e9889-eab2-4t9e-9441-566209499546",
"state" : "active"
}
ibmcloud analytics-engine-v3 instance home-set
提供要与 Analytics Engine 实例关联的 Cloud Object Storage 实例的详细信息，如果尚未设置“实例主目录”，请将其用作“实例主目录”。
注: 如果实例处于 "instance_home_creation_failure" 状态，那么可以再次设置“实例主目录”。
ibmcloud analytics-engine-v3 instance home-set [--id ID] [--instance-home-id INSTANCE-HOME-ID] [--endpoint ENDPOINT] [--hmac-access-key HMAC-ACCESS-KEY] [--hmac-secret-key HMAC-SECRET-KEY]
命令选项
-i和--id(字符串)-
要为其设置“实例主目录”的 Analytics Engine 实例的标识。 指定时，将覆盖目标实例标识 (如果已设置)。 必需 (如果未设置目标实例)。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。 --instance-home-id(字符串)-
实例主存储器实例的 UUID。
--endpoint(字符串)-
用于访问 Cloud Object Storage 实例的端点。
缺省值为
s3.direct.us-south.cloud-object-storage.appdomain.cloud。 --hmac-access-key(字符串)-
Cloud Object Storage 访问密钥。 必需。
--hmac-secret-key(字符串)-
Cloud Object Storage 密钥。 必需。
示例
ibmcloud analytics-engine-v3 instance home-set \
--hmac-access-key=821**********0ae \
--hmac-secret-key=03e****************4fc3 \
--output json
ibmcloud analytics-engine-v3 instance home-set \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--instance-home-id=701549e6-ab7e-43f2-8b7e-742698c53db8 \
--hmac-access-key=821**********0ae \
--hmac-secret-key=03e****************4fc3 \
--output json
示例输出
输出如下：
{
"instance_id" : "701549e6-ab7e-43f2-8b7e-742698c53db8",
"region" : "us-south",
"endpoint" : "https://s3.direct.us-south.cloud-object-storage.appdomain.cloud",
"hmac_access_key" : "b9**********4b",
"hmac_secret_key" : "fa******************8a"
}
ibmcloud analytics-engine-v3 instance default-configs
获取将应用于实例的所有应用程序的缺省 Spark 配置属性。
ibmcloud analytics-engine-v3 instance default-configs [--id ID]
命令选项
-i和--id(字符串)-
Analytics Engine 实例的标识。 指定时，将覆盖目标实例标识 (如果已设置)。 必需 (如果未设置目标实例)。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 instance default-configs --output json
ibmcloud analytics-engine-v3 instance default-configs \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
示例输出
输出如下：
{
"spark.driver.memory" : "4G",
"spark.driver.cores" : "1"
}
ibmcloud analytics-engine-v3 instance default-configs-replace
替换将应用于实例的所有应用程序的缺省 Spark 配置属性。
ibmcloud analytics-engine-v3 instance default-configs-replace [--id ID] --body BODY
命令选项
-i和--id(字符串)-
Analytics Engine 实例的标识。 指定时，将覆盖目标实例标识 (如果已设置)。 必需 (如果未设置目标实例)。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。 --body(映射[string]字符串)-
用于替换现有实例缺省 Spark 配置的 Spark 配置属性。 必需。
示例
ibmcloud analytics-engine-v3 instance default-configs-replace \
--body='{"spark.driver.memory" : "8G", "spark.driver.cores" : "2"}' \
--output json
ibmcloud analytics-engine-v3 instance default-configs-replace \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--body='{"spark.driver.memory" : "8G", "spark.driver.cores" : "2"}' \
--output json
示例输出
输出如下：
{
"spark.driver.memory" : "8G",
"spark.driver.cores" : "2"
}
ibmcloud analytics-engine-v3 instance default-configs-update
更新将应用于实例的所有应用程序的缺省 Spark 配置属性。
ibmcloud analytics-engine-v3 instance default-configs-update [--id ID] --body BODY
命令选项
-i和--id(字符串)-
Analytics Engine 实例的标识。 指定时，将覆盖目标实例标识 (如果已设置)。 必需 (如果未设置目标实例)。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。 --body(通用映射)-
要更新的 Spark 配置属性。 属性将与现有配置属性合并。 将属性值设置为
null以将其取消设置。 必需。
示例
ibmcloud analytics-engine-v3 instance default-configs-update \
--body='{"ae.spark.history-server.cores" : "1", "ae.spark.history-server.memory" : "4G"}' \
--output json
ibmcloud analytics-engine-v3 instance default-configs-update \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--body='{"ae.spark.history-server.cores" : "1", "ae.spark.history-server.memory" : "4G"}' \
--output json
示例输出
输出如下：
{
"ae.spark.history-server.cores" : "1",
"ae.spark.history-server.memory" : "4G",
"spark.driver.memory" : "8G",
"spark.driver.cores" : "2"
}
ibmcloud analytics-engine-v3 instance default-runtime
获取将运行实例的所有工作负载的缺省运行时环境。
ibmcloud analytics-engine-v3 instance default-runtime [--id ID]
命令选项
-i和--id(字符串)-
Analytics Engine 实例的标识。 指定时，将覆盖目标实例标识 (如果已设置)。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 instance default-runtime --output json
ibmcloud analytics-engine-v3 instance default-runtime \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
示例输出
输出如下：
{
"spark_version" : "3.3"
}
ibmcloud analytics-engine-v3 instance default-runtime-replace
替换将运行实例的所有工作负载的缺省运行时环境。
ibmcloud analytics-engine-v3 instance default-runtime-replace [--id ID] --runtime-spark-version RUNTIME-SPARK-VERSION
命令选项
-i和--id(字符串)-
Analytics Engine 实例的标识。 指定时，将覆盖目标实例标识 (如果已设置)。 必需 (如果未设置目标实例)。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。 --runtime-spark-version(字符串)-
运行时环境的 Spark 版本。 必需。
允许的值为:
3.1，3.3和3.4。
示例
ibmcloud analytics-engine-v3 instance default-runtime-replace \
--runtime-spark-version=3.3 \
--output json
ibmcloud analytics-engine-v3 instance default-runtime-replace \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--runtime-spark-version=3.3 \
--output json
示例输出
输出如下：
{
"spark_version" : "3.3"
}
ibmcloud analytics-engine-v3 instance current-resource-consumption
提供在此时间点分配给服务实例中运行的所有应用程序的总内存和虚拟处理器核心数。 当自动缩放的应用程序正在运行时，根据应用程序的需求，资源随时间推移而分配的更改。
注: 消耗量并不表示 Spark 流程的实际资源消耗量。 这是在提交应用程序时分配给当前正在运行的应用程序的资源总和。
ibmcloud analytics-engine-v3 instance current-resource-consumption [--id ID]
命令选项
-i和--id(字符串)-
Analytics Engine 实例的标识。 指定时，将覆盖目标实例标识 (如果已设置)。 必需 (如果未设置目标实例)。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 instance current-resource-consumption --output json
ibmcloud analytics-engine-v3 instance current-resource-consumption \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
示例输出
输出如下：
{
"cores" : "2",
"memory" : "8G"
}
ibmcloud analytics-engine-v3 instance resource-consumption-limits
返回在任何时间点在服务实例中运行的所有应用程序中分配的最大总内存和虚拟处理器核心数。
ibmcloud analytics-engine-v3 instance resource-consumption-limits [--id ID]
命令选项
-i和--id(字符串)-
Analytics Engine 实例的标识。 指定时，将覆盖目标实例标识 (如果已设置)。 必需 (如果未设置目标实例)。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 instance resource-consumption-limits --output json
ibmcloud analytics-engine-v3 instance resource-consumption-limits \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
示例输出
输出如下：
{
"max_cores" : "150",
"max_memory" : "600G"
}
Spark 应用程序命令
通过 Spark 应用程序 CLI 命令，可以执行以下操作:
ibmcloud analytics-engine-v3 spark-app --help
ibmcloud analytics-engine-v3 spark-app submit
在给定的无服务器 Spark 实例上部署 Spark 应用程序。
ibmcloud analytics-engine-v3 spark-app submit [--instance-id INSTANCE-ID] [--app APP] [--runtime RUNTIME] [--jars JARS] [--packages PACKAGES] [--repositories REPOSITORIES] [--files FILES] [--archives ARCHIVES] [--name NAME] [--class CLASS] [--arg ARG] [--conf CONF] [--env ENV]
命令选项
-i和--instance-id(字符串)-
与 Spark 应用程序关联的 Analytics Engine 实例的标识。 指定时，将覆盖目标实例标识 (如果已设置)。 必需 (如果未设置目标实例)。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。 --app(字符串)-
要运行的应用程序的路径。 必需。
--runtime(Runtime)-
针对应用程序和其他工作负载的运行时环境。
--jars(字符串)-
包含应用程序的 JAR 文件的路径。
--packages(字符串)-
软件包名称。
--repositories(字符串)-
存储库名称。
--files(字符串)-
文件名。
--archives(字符串)-
归档名称。
--name(字符串)-
应用程序的名称。
--class(字符串)-
作为 ".jar" 文件捆绑的 Spark 应用程序的入口点。 这仅适用于 Java 或 Scala 应用程序。
该值必须与正则表达式
/([\\p{L}_$][\\p{L}\\p{N}_$]*\\.)*[\\p{L}_$][\\p{L}\\p{N}_$]*/匹配。 --arg([]字符串)-
要传递到应用程序的自变量的数组。
--conf(通用映射)-
用于覆盖在实例级别指定的值的应用程序配置。 请参阅 Spark 环境变量 以获取受支持变量的列表。
--env(通用映射)-
要使用的应用程序环境配置。 请参阅 Spark 环境变量 以获取受支持变量的列表。
示例
ibmcloud analytics-engine-v3 spark-app submit \
--arg "/opt/ibm/spark/examples/src/main/resources/people.txt" \
--app "/opt/ibm/spark/examples/src/main/python/wordcount.py" \
--runtime='{"spark_version": "3.3"}' \
--output json
ibmcloud analytics-engine-v3 spark-app submit \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--arg "/opt/ibm/spark/examples/src/main/resources/people.txt" \
--app "/opt/ibm/spark/examples/src/main/python/wordcount.py" \
--runtime='{"spark_version": "3.3"}' \
--output json
示例输出
输出如下：
{
"id" : "87e63712-a823-4aa1-9f6e-7291d4e5a113",
"state" : "accepted"
}
ibmcloud analytics-engine-v3 spark-app list
返回提交到指定 Analytics Engine 实例的所有 Spark 应用程序的列表。 可以通过指定查询参数来过滤结果。 可以通过指定 limit 查询参数来限制返回的应用程序数。 将 start 与 limit 一起使用以访存下一页或上一页结果。
ibmcloud analytics-engine-v3 spark-app list [--instance-id INSTANCE-ID] [--state STATE] [--limit LIMIT] [--start START]
命令选项
-i和--instance-id(字符串)-
与 Spark 应用程序关联的 Analytics Engine 实例的标识。 必需。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。 --state([]字符串)-
将用于过滤响应的 Spark 应用程序状态的列表。
允许的列表项包括:
finished，running，failed，accepted，stopped，auto_terminated和ops_terminated。 --limit(int64)-
要包含在响应中的应用程序条目数。
最大值为
1000。 最小值为1。 --start(字符串)-
用于访存应用程序列表的下一页或上一页的令牌。
--all-pages(bool)-
调用多个请求以显示 spark-app-list 的集合的所有页面。
示例
ibmcloud analytics-engine-v3 spark-app list \
--state=finished \
--limit=25
ibmcloud analytics-engine-v3 spark-app list \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--state=finished \
--limit=25
示例输出
输出如下：
{
"applications" : [ {
"id" : "db933645-0b68-4dcb-80d8-7b71a6c8e542",
"spark_application_id" : "app-20211009103247-0000",
"spark_application_name" : "PythonWordCount",
"state" : "finished",
"submission_time" : "2021-04-21T04:23:50Z",
"start_time" : "2021-04-21T04:24:01Z",
"end_time" : "2021-04-21T04:25:18Z",
"finish_time" : "2021-04-21T04:25:18Z",
"auto_termination_time" : "2021-04-24T04:24:01Z"
}, {
"id" : "a2a2b23f-0929-4c49-9cc0-bd4c2bf953d9",
"spark_application_id" : "app-20211009103147-0000",
"spark_application_name" : "PythonWordCount",
"state" : "finished",
"submission_time" : "2021-04-21T04:21:50Z",
"start_time" : "2021-04-21T04:22:01Z",
"end_time" : "2021-04-21T04:23:18Z",
"finish_time" : "2021-04-21T04:23:18Z",
"auto_termination_time" : "2021-04-24T04:22:01Z"
} ],
"first" : {
"href" : "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/e64c907a-e82f-46fd-addc-ccfafbd28b09/spark_applications?limit=25"
},
"next" : {
"href" : "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/e64c907a-e82f-46fd-addc-ccfafbd28b09/spark_applications?limit=25&start=QiwyMDIyLTA5LTI2IDA4OjE4OjU2LjE4MiwxMDAyYTVlZC0xZWU4LTQwZWItOWUyNC00OTMyNTcxZjgzYzE",
"start" : "QiwyMDIyLTA5LTI2IDA4OjE4OjU2LjE4MiwxMDAyYTVlZC0xZWU4LTQwZWItOWUyNC00OTMyNTcxZjgzYzE"
},
"limit": 25
}
ibmcloud analytics-engine-v3 spark-app show
获取给定 Spark 应用程序的详细信息。
ibmcloud analytics-engine-v3 spark-app show [--instance-id INSTANCE-ID] --app-id APP-ID
命令选项
-i和--instance-id(字符串)-
应用程序所属实例的标识。 指定时，将覆盖目标实例标识 (如果已设置)。 必需 (如果未设置目标实例)。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。 --app-id(字符串)-
为其请求详细信息的应用程序的标识。 必需。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 spark-app show \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
--output json
ibmcloud analytics-engine-v3 spark-app show \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
--output json
示例输出
输出如下：
{
"application_details" : {
"application" : "/opt/ibm/spark/examples/src/main/python/wordcount.py",
"arguments" : [ "/opt/ibm/spark/examples/src/main/resources/people.txt" ],
"runtime": {
"spark_version": "3.3"
}
},
"id" : "a9a6f328-56d8-4923-8042-97652fff2af3",
"spark_application_id" : "app-20210908112356-0000",
"spark_application_name" : "PythonWordCount",
"state" : "finished",
"submission_time" : "2021-04-21T04:23:55Z",
"start_time" : "2021-04-21T04:24:01Z",
"end_time" : "2021-04-21T04:28:15Z",
"finish_time" : "2021-04-21T04:28:15Z",
"auto_termination_time" : "2021-04-24T04:24:01Z"
}
ibmcloud analytics-engine-v3 spark-app stop
停止由 app_id 标识标识的正在运行的应用程序。 这是一个幂等的操作。 如果请求的应用程序已停止或完成，那么不执行任何操作。
ibmcloud analytics-engine-v3 spark-app stop [--instance-id INSTANCE-ID] --app-id APP-ID
命令选项
-i和--instance-id(字符串)-
应用程序所属实例的标识。 指定时，将覆盖目标实例标识 (如果已设置)。 必需 (如果未设置目标实例)。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。 --app-id(字符串)-
需要停止的应用程序的标识。 必需。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 spark-app stop \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b
ibmcloud analytics-engine-v3 spark-app stop \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b
ibmcloud analytics-engine-v3 spark-app status
返回给定 Spark 应用程序的状态。
ibmcloud analytics-engine-v3 spark-app status [--instance-id INSTANCE-ID] --app-id APP-ID
命令选项
-i和--instance-id(字符串)-
应用程序所属实例的标识。 指定时，将覆盖目标实例标识 (如果已设置)。 必需 (如果未设置目标实例)。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。 --app-id(字符串)-
为其请求详细信息的应用程序的标识。 必需。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 spark-app status \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
--output json
ibmcloud analytics-engine-v3 spark-app status \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
--output json
示例输出
输出如下：
{
"id" : "9da32aaf-df69-4e61-bdb8-1b2772c0f677",
"state" : "finished",
"start_time" : "2021-04-21T04:24:01Z",
"end_time" : "2021-04-21T04:28:15Z",
"finish_time" : "2021-04-21T04:28:15Z",
"auto_termination_time" : "2021-04-24T04:24:01Z"
}
日志转发配置
使用此命令可启用或禁用将日志从无服务器实例转发到 IBM Log Analysis 服务以及查看日志转发配置的状态。
ibmcloud analytics-engine-v3 log-forwarding-config --help
ibmcloud analytics-engine-v3 log-forwarding-config replace
修改用于将日志从 Analytics Engine 实例转发到 IBM Log Analysis 服务器的配置。 使用此端点来启用或禁用日志转发。
ibmcloud analytics-engine-v3 log-forwarding-config replace [--instance-id INSTANCE-ID] --enabled ENABLED [--sources SOURCES] [--tags TAGS]
命令选项
-i和--instance-id(字符串)-
Analytics Engine 实例的标识。 指定时，将覆盖目标实例标识 (如果已设置)。 必需 (如果未设置目标实例)。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。 --enabled(bool)-
启用或禁用日志转发。 必需。
--sources([]字符串)-
将转发的日志源的列表。 缺省情况下，仅转发 "spark-driver" 日志。
--tags([]字符串)-
要应用于要转发的日志的标记的列表。 它们可用于过滤 IBM Log Analysis 服务器中的日志。
示例
ibmcloud analytics-engine-v3 log-forwarding-config replace \
--enabled=true \
--sources=spark-driver,spark-executor \
--tags=<tag_1>,<tag_2>,<tag_n> \
--output json
ibmcloud analytics-engine-v3 log-forwarding-config replace \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--enabled=true \
--sources=spark-driver,spark-executor \
--tags=<tag_1>,<tag_2>,<tag_n> \
--output json
示例输出
输出如下：
{
"sources" : [ "spark-driver", "spark-executor" ],
"log_server" : {
"type" : "ibm-log-analysis"
},
"enabled" : true
}
ibmcloud analytics-engine-v3 log-forwarding-config show
检索 Analytics Engine 实例的日志转发配置。
ibmcloud analytics-engine-v3 log-forwarding-config show [--instance-id INSTANCE-ID]
命令选项
-i和--instance-id(字符串)-
Analytics Engine 实例的标识。 指定时，将覆盖目标实例标识 (如果已设置)。 必需 (如果未设置目标实例)。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 log-forwarding-config show --output json
ibmcloud analytics-engine-v3 log-forwarding-config show \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
示例输出
输出如下：
{
"sources" : [ "spark-driver", "spark-executor" ],
"log_server" : {
"type" : "ibm-log-analysis"
},
"enabled" : true
}
Spark 历史服务器
使用这些命令可启动或停止实例的 Spark 历史记录服务器。
ibmcloud analytics-engine-v3 history-server --help
ibmcloud analytics-engine-v3 history-server start
启动给定 Analytics Engine 实例的 Spark 历史记录服务器。
ibmcloud analytics-engine-v3 history-server start [--instance-id INSTANCE-ID]
命令选项
-i和--instance-id(字符串)-
Spark 历史记录服务器所属的 Analytics Engine 实例的标识。 指定时，将覆盖目标实例标识 (如果已设置)。 必需 (如果未设置目标实例)。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 history-server start --output json
ibmcloud analytics-engine-v3 history-server start \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
示例输出
输出如下：
{
"state" : "started",
"cores" : "1",
"memory" : "4G",
"start_time" : "2022-02-21T07:37:47Z",
"auto_termination_time" : "2022-02-24T07:37:47Z"
}
ibmcloud analytics-engine-v3 history-server show
获取给定 Analytics Engine 实例的 Spark 历史记录服务器的详细信息。
ibmcloud analytics-engine-v3 history-server show [--instance-id INSTANCE-ID]
命令选项
-i和--instance-id(字符串)-
Spark 历史记录服务器所属的 Analytics Engine 实例的标识。 指定时，将覆盖目标实例标识 (如果已设置)。 必需 (如果未设置目标实例)。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 history-server show --output json
ibmcloud analytics-engine-v3 history-server show \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
示例输出
输出如下：
{
"state" : "started",
"cores" : "1",
"memory" : "4G",
"start_time" : "2022-02-21T07:37:47Z",
"auto_termination_time" : "2022-02-24T07:37:47Z"
}
ibmcloud analytics-engine-v3 history-server stop
停止给定 Analytics Engine 实例的 Spark 历史记录服务器。
ibmcloud analytics-engine-v3 history-server stop [--instance-id INSTANCE-ID]
命令选项
-i和--instance-id(字符串)-
Spark 历史记录服务器所属的 Analytics Engine 实例的标识。 指定时，将覆盖目标实例标识 (如果已设置)。 必需 (如果未设置目标实例)。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 history-server stop --output json
ibmcloud analytics-engine-v3 history-server stop \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
日志配置
注: 不推荐使用。 请改为使用 log-转发-config 命令组中的等效命令。
ibmcloud analytics-engine-v3 log-config --help
ibmcloud analytics-engine-v3 log-config update
启用或禁用从 IBM Analytics Engine 到 IBM Log Analysis 服务器的日志转发。
注: 不推荐使用。 请改为使用 log-forwarding-config 命令组中的 replace。
ibmcloud analytics-engine-v3 log-config update [--instance-id INSTANCE-ID] [--enable ENABLE]
命令选项
-i和--instance-id(字符串)-
要为其配置日志转发的实例详细信息的 GUID。 指定时，将覆盖目标实例标识 (如果已设置)。 必需 (如果未设置目标实例)。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。 --enable(bool)-
启用或禁用日志转发。 必需。
示例
ibmcloud analytics-engine-v3 log-config update \
--enable=true \
--output json
ibmcloud analytics-engine-v3 log-config update \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--enable=true \
--output json
示例输出
输出如下：
{
"components" : [ "spark-driver", "spark-executor" ],
"log_server" : {
"type" : "ibm-log-analysis"
},
"enable" : true
}
ibmcloud analytics-engine-v3 log-config show
检索给定 Analytics Engine 实例的日志记录配置。
注: 不推荐使用。 请改为使用 log-forwarding-config 命令组中的 show。
ibmcloud analytics-engine-v3 log-config show [--instance-id INSTANCE-ID]
命令选项
-i和--instance-id(字符串)-
用于检索日志配置的 Analytics Engine 服务实例的 GUID。 指定时，将覆盖目标实例标识 (如果已设置)。 必需 (如果未设置目标实例)。
该值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 log-config show --output json
ibmcloud analytics-engine-v3 log-config show \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
示例输出
输出如下：
{
"components" : [ "spark-driver", "spark-executor" ],
"log_server" : {
"type" : "ibm-log-analysis"
},
"enable" : true
}
模式示例
以下模式示例表示指定命令选项所需的数据。 这些示例对数据结构进行建模，并包含期望值类型的占位符值。 运行命令时，请将这些值替换为适用于您的环境的相应值。
运行时
以下示例显示了 Runtime 对象的格式。
{
"spark_version" : "3.3"
}