IBM Analytics Engine 无服务器实例的 CLI 插件
IBM Analytics Engine v3 CLI 提供与 Standard Serverless Spark 实例交互的命令行选项。 您可以使用 CLI 管理实例和 Spark 应用程序。 有关无服务器 Analytics Engine 实例的更多信息，请参阅 无服务器实例中的架构和概念。
要运行 IBM Analytics Engine 和 v3 的CLI命令，请访问 ibmcloud analytics-engine-v3 或 ibmcloud ae-v3。
先决条件
在本地系统中下载并安装 IBM Cloud CLI。 请参阅 IBM Cloud CLI 安装 CLI。
安装 IBM Analytics Engine v3 CLI
运行以下命令安装 IBM Analytics Engine v3 CLI：
ibmcloud plugin install analytics-engine-v3
以下 help CLI 命令显示 v3 CLI 支持以下 CLI 命令：
$ ibmcloud ae-v3 --help
NAME:
analytics-engine-v3 - Manage serverless Spark instances and run applications.
USAGE:
ibmcloud analytics-engine-v3 [command] [options]
ALIASES:
analytics-engine-v3, ae-v3
COMMANDS:
history-server Commands for HistoryServer resource.
instance Commands for Instance resource.
log-forwarding-config Commands for LogForwardingConfig resource.
spark-app Commands for SparkApp resource.
target All commands run after setting a target will be run on the target instance
OPTIONS:
-h, --help Show help
-j, --jmes-query string Provide a JMESPath query to customize output.
--output string Choose an output format - can be 'json', 'yaml', or 'table'. (default "table")
-q, --quiet Suppresses verbose messages.
-v, --version version for analytics-engine-v3
Use "ibmcloud analytics-engine-v3 service-command --help" for more information about a command.
设置目标实例
以下命令允许您设置一个目标实例，所有后续 CLI 命令都将针对该实例运行。
注意：如果在任何 v3 CLI 命令中明确传递实例 ID，它将覆盖设置为目标的实例 ID。
ibmcloud analytics-engine-v3 target [--instance-id INSTANCE-ID] [--unset-instance]
命令选项
- -i, --instance-id
- 目标 Analytics Engine 实例的标识符。 所有后续命令都针对目标实例运行。
- --unset-instance
- 撤销目标实例设置
示例
下面的示例演示了如何设置目标实例：
$ ibmcloud ae-v3 target --instance-id d2189b-b729-61f-adc0-987001da52e3
...
Target instance d0f582f7-cbf4-4c64-bf7f-72efd21c9f32
Subsequent commands will be run against the target instance
下面的示例展示了如何撤销目标实例：
$ ibmcloud ae-v3 target --unset-instance
...
Target instance d0f582f7-cbf4-4c64-bf7f-72efd21c9f32 revoked
No target instance is set
实例管理命令
使用此命令进行实例管理。
ibmcloud analytics-engine-v3 instance --help
ibmcloud analytics-engine-v3 instance show
检索单个 Analytics Engine 实例的详细信息。
ibmcloud analytics-engine-v3 instance show [--id ID]
命令选项
-i,--id(字符串)-
要检索的 Analytics Engine 服务实例的 GUID。 指定后，如果目标实例 ID 已设置，它将覆盖该 ID。 如果未设置目标实例，则为必填项。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
下面的示例显示了如何使用 show 命令而不使用实例 ID。 在目标实例上执行请求的操作。
ibmcloud analytics-engine-v3 instance show --output json
下面的示例显示了如何使用 show 命令，如果定义了实例 ID，该 ID 将覆盖目标实例 ID：
ibmcloud analytics-engine-v3 instance show \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
示例输出
输出如下：
{
"id" : "dc0e9889-eab2-4t9e-9441-566209499546",
"state" : "active",
"state_change_time" : "2021-04-21T04:24:01Z",
"default_runtime" : {
"spark_version" : "3.3"
},
"instance_home" : {
"guid" : "30d5c4a7-9fb7-4712-9039-a79417dec87b",
"provider" : "ibm-cos",
"type" : "objectstore",
"region" : "us-south",
"endpoint" : "s3.direct.us-south.cloud-object-storage.appdomain.cloud",
"bucket" : "ae-bucket-do-not-delete-dc0e9889-eab2-4t9e-9441-566209499546",
"hmac_access_key" : "eH****g=",
"hmac_secret_key" : "4d********76"
},
"default_config" : {
"spark.driver.memory" : "4g",
"spark.driver.cores" : 1
}
}
ibmcloud analytics-engine-v3 instance state
读取单个 Analytics Engine 实例的状态。
ibmcloud analytics-engine-v3 instance state [--id ID]
命令选项
-i,--id(字符串)-
要检索状态的 Analytics Engine 服务实例的 GUID。 指定后，如果目标实例 ID 已设置，它将覆盖该 ID。 如果未设置目标实例，则为必填项。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 instance state --output json
ibmcloud analytics-engine-v3 instance state \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
示例输出
{
"id" : "dc0e9889-eab2-4t9e-9441-566209499546",
"state" : "active"
}
ibmcloud analytics-engine-v3 instance home-set
如果尚未设置“实例归属地”，请提供 Cloud Object Storage 实例的详细信息，以便与 Analytics Engine 实例关联并用作“实例归属地”。
注意：如果实例处于 "instance_home_creation_failure "状态，可以重新设置 "instance home"。
ibmcloud analytics-engine-v3 instance home-set [--id ID] [--instance-home-id INSTANCE-HOME-ID] [--endpoint ENDPOINT] [--hmac-access-key HMAC-ACCESS-KEY] [--hmac-secret-key HMAC-SECRET-KEY]
命令选项
-i,--id(字符串)-
要设置 "instance home "的 Analytics Engine 实例的 ID。 指定后，如果目标实例 ID 已设置，它将覆盖该 ID。 如果未设置目标实例，则为必填项。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。 --instance-home-id(字符串)-
家庭存储实例的 UUID。
--endpoint(字符串)-
访问 Cloud Object Storage 实例的端点。
默认值为
s3.direct.us-south.cloud-object-storage.appdomain.cloud。 --hmac-access-key(字符串)-
Cloud Object Storage 快捷键。 必需。
--hmac-secret-key(字符串)-
Cloud Object Storage 密钥。 必需。
示例
ibmcloud analytics-engine-v3 instance home-set \
--hmac-access-key=821**********0ae \
--hmac-secret-key=03e****************4fc3 \
--output json
ibmcloud analytics-engine-v3 instance home-set \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--instance-home-id=701549e6-ab7e-43f2-8b7e-742698c53db8 \
--hmac-access-key=821**********0ae \
--hmac-secret-key=03e****************4fc3 \
--output json
示例输出
输出如下：
{
"instance_id" : "701549e6-ab7e-43f2-8b7e-742698c53db8",
"region" : "us-south",
"endpoint" : "https://s3.direct.us-south.cloud-object-storage.appdomain.cloud",
"hmac_access_key" : "b9**********4b",
"hmac_secret_key" : "fa******************8a"
}
ibmcloud analytics-engine-v3 instance default-configs
获取将应用于实例所有应用程序的默认 Spark 配置属性。
ibmcloud analytics-engine-v3 instance default-configs [--id ID]
命令选项
-i,--id(字符串)-
Analytics Engine 实例的 ID。 指定后，如果目标实例 ID 已设置，它将覆盖该 ID。 如果未设置目标实例，则为必填项。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 instance default-configs --output json
ibmcloud analytics-engine-v3 instance default-configs \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
示例输出
输出如下：
{
"spark.driver.memory" : "4G",
"spark.driver.cores" : "1"
}
ibmcloud analytics-engine-v3 instance default-configs-replace
替换将应用于实例所有应用程序的默认 Spark 配置属性。
ibmcloud analytics-engine-v3 instance default-configs-replace [--id ID] --body BODY
命令选项
-i,--id(字符串)-
Analytics Engine 实例的 ID。 指定后，如果目标实例 ID 已设置，它将覆盖该 ID。 如果未设置目标实例，则为必填项。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。 --body( [mapstringstring] )-
Spark 配置属性，以替换现有实例的默认 Spark 配置。 必需。
示例
ibmcloud analytics-engine-v3 instance default-configs-replace \
--body='{"spark.driver.memory" : "8G", "spark.driver.cores" : "2"}' \
--output json
ibmcloud analytics-engine-v3 instance default-configs-replace \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--body='{"spark.driver.memory" : "8G", "spark.driver.cores" : "2"}' \
--output json
示例输出
输出如下：
{
"spark.driver.memory" : "8G",
"spark.driver.cores" : "2"
}
ibmcloud analytics-engine-v3 instance default-configs-update
更新将应用于实例所有应用程序的默认 Spark 配置属性。
ibmcloud analytics-engine-v3 instance default-configs-update [--id ID] --body BODY
命令选项
-i,--id(字符串)-
Analytics Engine 实例的 ID。 指定后，如果目标实例 ID 已设置，它将覆盖该 ID。 如果未设置目标实例，则为必填项。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。 --body（通用地图）-
要更新的 Spark 配置属性。 属性将与现有配置属性合并。 将属性值设置为
null，以便取消设置。 必需。
示例
ibmcloud analytics-engine-v3 instance default-configs-update \
--body='{"ae.spark.history-server.cores" : "1", "ae.spark.history-server.memory" : "4G"}' \
--output json
ibmcloud analytics-engine-v3 instance default-configs-update \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--body='{"ae.spark.history-server.cores" : "1", "ae.spark.history-server.memory" : "4G"}' \
--output json
示例输出
输出如下：
{
"ae.spark.history-server.cores" : "1",
"ae.spark.history-server.memory" : "4G",
"spark.driver.memory" : "8G",
"spark.driver.cores" : "2"
}
ibmcloud analytics-engine-v3 instance default-runtime
获取默认运行时环境，实例的所有工作负载都将在此环境中运行。
ibmcloud analytics-engine-v3 instance default-runtime [--id ID]
命令选项
-i,--id(字符串)-
Analytics Engine 实例的 ID。 指定后，如果目标实例 ID 已设置，它将覆盖该 ID。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 instance default-runtime --output json
ibmcloud analytics-engine-v3 instance default-runtime \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
示例输出
输出如下：
{
"spark_version" : "3.3"
}
ibmcloud analytics-engine-v3 instance default-runtime-replace
替换默认运行环境，实例的所有工作负载都将在该环境中运行。
ibmcloud analytics-engine-v3 instance default-runtime-replace [--id ID] --runtime-spark-version RUNTIME-SPARK-VERSION
命令选项
-i,--id(字符串)-
Analytics Engine 实例的 ID。 指定后，如果目标实例 ID 已设置，它将覆盖该 ID。 如果未设置目标实例，则为必填项。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。 --runtime-spark-version(字符串)-
运行环境的 Spark 版本。 必需。
允许值为
3.1,3.3,3.4。
示例
ibmcloud analytics-engine-v3 instance default-runtime-replace \
--runtime-spark-version=3.3 \
--output json
ibmcloud analytics-engine-v3 instance default-runtime-replace \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--runtime-spark-version=3.3 \
--output json
示例输出
输出如下：
{
"spark_version" : "3.3"
}
ibmcloud analytics-engine-v3 instance current-resource-consumption
提供此时在服务实例中运行的所有应用程序所分配的总内存和虚拟处理器内核。 在运行自动缩放应用程序时，分配的资源会根据应用程序的需求随时间发生变化。
注意：消耗量并不代表 Spark 进程的实际资源消耗量。 这是在提交申请时分配给当前正在运行的应用程序的资源总和。
ibmcloud analytics-engine-v3 instance current-resource-consumption [--id ID]
命令选项
-i,--id(字符串)-
Analytics Engine 实例的 ID。 指定后，如果目标实例 ID 已设置，它将覆盖该 ID。 如果未设置目标实例，则为必填项。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 instance current-resource-consumption --output json
ibmcloud analytics-engine-v3 instance current-resource-consumption \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
示例输出
输出如下：
{
"cores" : "2",
"memory" : "8G"
}
ibmcloud analytics-engine-v3 instance resource-consumption-limits
返回服务实例中运行的所有应用程序在任意时间点分配的最大内存和虚拟处理器内核总数。
ibmcloud analytics-engine-v3 instance resource-consumption-limits [--id ID]
命令选项
-i,--id(字符串)-
Analytics Engine 实例的 ID。 指定后，如果目标实例 ID 已设置，它将覆盖该 ID。 如果未设置目标实例，则为必填项。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 instance resource-consumption-limits --output json
ibmcloud analytics-engine-v3 instance resource-consumption-limits \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
示例输出
输出如下：
{
"max_cores" : "150",
"max_memory" : "600G"
}
Spark 应用程序命令
使用 Spark 应用程序 CLI 命令，您可以执行以下操作：
ibmcloud analytics-engine-v3 spark-app --help
ibmcloud analytics-engine-v3 spark-app submit
在给定的无服务器 Spark 实例上部署 Spark 应用程序。
ibmcloud analytics-engine-v3 spark-app submit [--instance-id INSTANCE-ID] [--app APP] [--runtime RUNTIME] [--jars JARS] [--packages PACKAGES] [--repositories REPOSITORIES] [--files FILES] [--archives ARCHIVES] [--name NAME] [--class CLASS] [--arg ARG] [--conf CONF] [--env ENV]
命令选项
-i,--instance-id(字符串)-
与 Spark 应用程序相关联的 Analytics Engine 实例的标识符。 指定后，如果目标实例 ID 已设置，它将覆盖该 ID。 如果未设置目标实例，则为必填项。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。 --app(字符串)-
要运行的应用程序的路径。 必需。
--runtime(Runtime)-
应用程序和其他工作负载的运行环境。
--jars(字符串)-
包含应用程序的 jar 文件的路径。
--packages(字符串)-
软件包名称
--repositories(字符串)-
存储库名称。
--files(字符串)-
文件名
--archives(字符串)-
档案名称：
--name(字符串)-
应用程序的名称。
--class(字符串)-
以".jar "文件形式捆绑的 Spark 应用程序的入口点。 这仅适用于 Java 或 Scala 应用。
值必须与正则表达式
/([\\p{L}_$][\\p{L}\\p{N}_$]*\\.)*[\\p{L}_$][\\p{L}\\p{N}_$]*/匹配。 --arg([]字符串)-
将传递给应用程序的参数数组。
--conf（通用地图）-
应用程序配置可覆盖在实例级别指定的值。 有关支持的变量列表，请参见 Spark 环境变量。
--env（通用地图）-
使用的应用环境配置。 有关支持的变量列表，请参见 Spark 环境变量。
示例
ibmcloud analytics-engine-v3 spark-app submit \
--arg "/opt/ibm/spark/examples/src/main/resources/people.txt" \
--app "/opt/ibm/spark/examples/src/main/python/wordcount.py" \
--runtime='{"spark_version": "3.3"}' \
--output json
ibmcloud analytics-engine-v3 spark-app submit \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--arg "/opt/ibm/spark/examples/src/main/resources/people.txt" \
--app "/opt/ibm/spark/examples/src/main/python/wordcount.py" \
--runtime='{"spark_version": "3.3"}' \
--output json
示例输出
输出如下：
{
"id" : "87e63712-a823-4aa1-9f6e-7291d4e5a113",
"state" : "accepted"
}
ibmcloud analytics-engine-v3 spark-app list
返回提交给指定 Analytics Engine 实例的所有 Spark 应用程序的列表。 可通过指定查询参数对结果进行过滤。 可以通过指定 limit 查询参数来限制返回的应用程序数量。 使用 start 和 limit 可获取下一页或上一页结果。
ibmcloud analytics-engine-v3 spark-app list [--instance-id INSTANCE-ID] [--state STATE] [--limit LIMIT] [--start START]
命令选项
-i,--instance-id(字符串)-
与 Spark 应用程序相关联的 Analytics Engine 实例的标识符。 必需。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。 --state([]字符串)-
用于过滤响应的 Spark 应用程序状态列表。
允许的列表项目有
finished,running,failed,accepted,stopped,auto_terminated,ops_terminated。 --limit(int64)-
答复中包含的申请条目的数量。
最大值为
1000。 最小值为1。 --start(字符串)-
用于获取应用程序列表下一页或上一页的令牌。
--all-pages(bool)-
调用多个请求以显示 spark-app-list 集合中的所有页面。
示例
ibmcloud analytics-engine-v3 spark-app list \
--state=finished \
--limit=25
ibmcloud analytics-engine-v3 spark-app list \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--state=finished \
--limit=25
示例输出
输出如下：
{
"applications" : [ {
"id" : "db933645-0b68-4dcb-80d8-7b71a6c8e542",
"spark_application_id" : "app-20211009103247-0000",
"spark_application_name" : "PythonWordCount",
"state" : "finished",
"submission_time" : "2021-04-21T04:23:50Z",
"start_time" : "2021-04-21T04:24:01Z",
"end_time" : "2021-04-21T04:25:18Z",
"finish_time" : "2021-04-21T04:25:18Z",
"auto_termination_time" : "2021-04-24T04:24:01Z"
}, {
"id" : "a2a2b23f-0929-4c49-9cc0-bd4c2bf953d9",
"spark_application_id" : "app-20211009103147-0000",
"spark_application_name" : "PythonWordCount",
"state" : "finished",
"submission_time" : "2021-04-21T04:21:50Z",
"start_time" : "2021-04-21T04:22:01Z",
"end_time" : "2021-04-21T04:23:18Z",
"finish_time" : "2021-04-21T04:23:18Z",
"auto_termination_time" : "2021-04-24T04:22:01Z"
} ],
"first" : {
"href" : "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/e64c907a-e82f-46fd-addc-ccfafbd28b09/spark_applications?limit=25"
},
"next" : {
"href" : "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/e64c907a-e82f-46fd-addc-ccfafbd28b09/spark_applications?limit=25&start=QiwyMDIyLTA5LTI2IDA4OjE4OjU2LjE4MiwxMDAyYTVlZC0xZWU4LTQwZWItOWUyNC00OTMyNTcxZjgzYzE",
"start" : "QiwyMDIyLTA5LTI2IDA4OjE4OjU2LjE4MiwxMDAyYTVlZC0xZWU4LTQwZWItOWUyNC00OTMyNTcxZjgzYzE"
},
"limit": 25
}
ibmcloud analytics-engine-v3 spark-app show
获取给定 Spark 应用程序的详细信息。
ibmcloud analytics-engine-v3 spark-app show [--instance-id INSTANCE-ID] --app-id APP-ID
命令选项
-i,--instance-id(字符串)-
应用程序所属实例的标识符。 指定后，如果目标实例 ID 已设置，它将覆盖该 ID。 如果未设置目标实例，则为必填项。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。 --app-id(字符串)-
要求提供详细信息的申请的标识符。 必需。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 spark-app show \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
--output json
ibmcloud analytics-engine-v3 spark-app show \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
--output json
示例输出
输出如下：
{
"application_details" : {
"application" : "/opt/ibm/spark/examples/src/main/python/wordcount.py",
"arguments" : [ "/opt/ibm/spark/examples/src/main/resources/people.txt" ],
"runtime": {
"spark_version": "3.3"
}
},
"id" : "a9a6f328-56d8-4923-8042-97652fff2af3",
"spark_application_id" : "app-20210908112356-0000",
"spark_application_name" : "PythonWordCount",
"state" : "finished",
"submission_time" : "2021-04-21T04:23:55Z",
"start_time" : "2021-04-21T04:24:01Z",
"end_time" : "2021-04-21T04:28:15Z",
"finish_time" : "2021-04-21T04:28:15Z",
"auto_termination_time" : "2021-04-24T04:24:01Z"
}
ibmcloud analytics-engine-v3 spark-app stop
停止由 app_id 标识符标识的正在运行的应用程序。 这是一个幂等操作。 如果请求的应用程序已经停止或完成，则不执行任何操作。
ibmcloud analytics-engine-v3 spark-app stop [--instance-id INSTANCE-ID] --app-id APP-ID
命令选项
-i,--instance-id(字符串)-
应用程序所属实例的标识符。 指定后，如果目标实例 ID 已设置，它将覆盖该 ID。 如果未设置目标实例，则为必填项。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。 --app-id(字符串)-
需要停止的应用程序的标识符。 必需。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 spark-app stop \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b
ibmcloud analytics-engine-v3 spark-app stop \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b
ibmcloud analytics-engine-v3 spark-app status
返回给定 Spark 应用程序的状态。
ibmcloud analytics-engine-v3 spark-app status [--instance-id INSTANCE-ID] --app-id APP-ID
命令选项
-i,--instance-id(字符串)-
应用程序所属实例的标识符。 指定后，如果目标实例 ID 已设置，它将覆盖该 ID。 如果未设置目标实例，则为必填项。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。 --app-id(字符串)-
要求提供详细信息的申请的标识符。 必需。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 spark-app status \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
--output json
ibmcloud analytics-engine-v3 spark-app status \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
--output json
示例输出
输出如下：
{
"id" : "9da32aaf-df69-4e61-bdb8-1b2772c0f677",
"state" : "finished",
"start_time" : "2021-04-21T04:24:01Z",
"end_time" : "2021-04-21T04:28:15Z",
"finish_time" : "2021-04-21T04:28:15Z",
"auto_termination_time" : "2021-04-24T04:24:01Z"
}
日志转发配置
使用此命令可启用或禁用从无服务器实例向 IBM Log Analysis 服务转发日志，并查看日志转发配置的状态。
ibmcloud analytics-engine-v3 log-forwarding-config --help
ibmcloud analytics-engine-v3 log-forwarding-config replace
修改从 Analytics Engine 实例向 IBM Log Analysis 服务器转发日志的配置。 使用此端点启用或禁用日志转发。
ibmcloud analytics-engine-v3 log-forwarding-config replace [--instance-id INSTANCE-ID] --enabled ENABLED [--sources SOURCES] [--tags TAGS]
命令选项
-i,--instance-id(字符串)-
Analytics Engine 实例的 ID。 指定后，如果目标实例 ID 已设置，它将覆盖该 ID。 如果未设置目标实例，则为必填项。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。 --enabled(bool)-
启用或禁用日志转发。 必需。
--sources([]字符串)-
将转发的日志来源列表。 默认情况下，只转发 "spark-driver "日志。
--tags([]字符串)-
应用于转发日志的标记列表。 它们可用于过滤 IBM Log Analysis 服务器中的日志。
示例
ibmcloud analytics-engine-v3 log-forwarding-config replace \
--enabled=true \
--sources=spark-driver,spark-executor \
--tags=<tag_1>,<tag_2>,<tag_n> \
--output json
ibmcloud analytics-engine-v3 log-forwarding-config replace \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--enabled=true \
--sources=spark-driver,spark-executor \
--tags=<tag_1>,<tag_2>,<tag_n> \
--output json
示例输出
输出如下：
{
"sources" : [ "spark-driver", "spark-executor" ],
"log_server" : {
"type" : "ibm-log-analysis"
},
"enabled" : true
}
ibmcloud analytics-engine-v3 log-forwarding-config show
读取 Analytics Engine 实例的日志转发配置。
ibmcloud analytics-engine-v3 log-forwarding-config show [--instance-id INSTANCE-ID]
命令选项
-i,--instance-id(字符串)-
Analytics Engine 实例的 ID。 指定后，如果目标实例 ID 已设置，它将覆盖该 ID。 如果未设置目标实例，则为必填项。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 log-forwarding-config show --output json
ibmcloud analytics-engine-v3 log-forwarding-config show \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
示例输出
输出如下：
{
"sources" : [ "spark-driver", "spark-executor" ],
"log_server" : {
"type" : "ibm-log-analysis"
},
"enabled" : true
}
Spark 历史服务器
使用这些命令启动或停止实例的 Spark 历史服务器。
ibmcloud analytics-engine-v3 history-server --help
ibmcloud analytics-engine-v3 history-server start
为给定的 Analytics Engine 实例启动 Spark 历史服务器。
ibmcloud analytics-engine-v3 history-server start [--instance-id INSTANCE-ID]
命令选项
-i,--instance-id(字符串)-
Spark 历史服务器所属 Analytics Engine 实例的 ID。 指定后，如果目标实例 ID 已设置，它将覆盖该 ID。 如果未设置目标实例，则为必填项。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 history-server start --output json
ibmcloud analytics-engine-v3 history-server start \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
示例输出
输出如下：
{
"state" : "started",
"cores" : "1",
"memory" : "4G",
"start_time" : "2022-02-21T07:37:47Z",
"auto_termination_time" : "2022-02-24T07:37:47Z"
}
ibmcloud analytics-engine-v3 history-server show
获取给定 Analytics Engine 实例的 Spark 历史服务器的详细信息。
ibmcloud analytics-engine-v3 history-server show [--instance-id INSTANCE-ID]
命令选项
-i,--instance-id(字符串)-
Spark 历史服务器所属 Analytics Engine 实例的 ID。 指定后，如果目标实例 ID 已设置，它将覆盖该 ID。 如果未设置目标实例，则为必填项。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 history-server show --output json
ibmcloud analytics-engine-v3 history-server show \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
示例输出
输出如下：
{
"state" : "started",
"cores" : "1",
"memory" : "4G",
"start_time" : "2022-02-21T07:37:47Z",
"auto_termination_time" : "2022-02-24T07:37:47Z"
}
ibmcloud analytics-engine-v3 history-server stop
停止给定 Analytics Engine 实例的 Spark 历史服务器。
ibmcloud analytics-engine-v3 history-server stop [--instance-id INSTANCE-ID]
命令选项
-i,--instance-id(字符串)-
Spark 历史服务器所属 Analytics Engine 实例的 ID。 指定后，如果目标实例 ID 已设置，它将覆盖该 ID。 如果未设置目标实例，则为必填项。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 history-server stop --output json
ibmcloud analytics-engine-v3 history-server stop \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
日志配置
注：已废弃。 请使用 日志转发配置 命令组中的相应命令。
ibmcloud analytics-engine-v3 log-config --help
ibmcloud analytics-engine-v3 log-config update
启用或禁用从 IBM Analytics Engine 到 IBM Log Analysis 服务器的日志转发。
注：已废弃。 请使用 log-forwarding-config 命令组中的 replace。
ibmcloud analytics-engine-v3 log-config update [--instance-id INSTANCE-ID] [--enable ENABLE]
命令选项
-i,--instance-id(字符串)-
要配置日志转发的实例详细信息的 GUID。 指定后，如果目标实例 ID 已设置，它将覆盖该 ID。 如果未设置目标实例，则为必填项。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。 --enable(bool)-
启用或禁用日志转发。 必需。
示例
ibmcloud analytics-engine-v3 log-config update \
--enable=true \
--output json
ibmcloud analytics-engine-v3 log-config update \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--enable=true \
--output json
示例输出
输出如下：
{
"components" : [ "spark-driver", "spark-executor" ],
"log_server" : {
"type" : "ibm-log-analysis"
},
"enable" : true
}
ibmcloud analytics-engine-v3 log-config show
读取指定 Analytics Engine 实例的日志记录配置。
注：已废弃。 请使用 log-forwarding-config 命令组中的 show。
ibmcloud analytics-engine-v3 log-config show [--instance-id INSTANCE-ID]
命令选项
-i,--instance-id(字符串)-
Analytics Engine 服务实例的 GUID，用于检索日志配置。 指定后，如果目标实例 ID 已设置，它将覆盖该 ID。 如果未设置目标实例，则为必填项。
值必须与正则表达式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/匹配。
示例
ibmcloud analytics-engine-v3 log-config show --output json
ibmcloud analytics-engine-v3 log-config show \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
示例输出
输出如下：
{
"components" : [ "spark-driver", "spark-executor" ],
"log_server" : {
"type" : "ibm-log-analysis"
},
"enable" : true
}
模式示例
下面的模式示例表示指定命令选项所需的数据。 这些示例为数据结构建模，并包含预期值类型的占位符值。 在运行命令时，请酌情用适用于您环境的值替换这些值。
运行时
以下示例展示了 Runtime 对象的格式。
{
"spark_version" : "3.3"
}