IBM Analytics Engine 無伺服器實例的 CLI 外掛程式
IBM Analytics Engine v3 CLI 提供與 Standard Serverless Spark 實體互動的命令列選項。 您可以使用 CLI 管理實體和 Spark 應用程式。 有關無伺服器 Analytics Engine 實體的詳細資訊,請參閱 無伺服器實體的架構與概念。
若要執行 IBM Analytics Engine v3 CLI 指令,請使用 ibmcloud analytics-engine-v3 或 ibmcloud ae-v3。
必要條件
下載 IBM Cloud CLI 並安裝到您的本機系統。 請參閱 IBM Cloud CLI 以安裝 CLI。
安裝 IBM Analytics Engine v3 CLI
執行下列指令,安裝 IBM Analytics Engine v3 CLI:
ibmcloud plugin install analytics-engine-v3
下列 help CLI 指令顯示 v3 CLI 支援下列 CLI 指令:
$ ibmcloud ae-v3 --help
NAME:
analytics-engine-v3 - Manage serverless Spark instances and run applications.
USAGE:
ibmcloud analytics-engine-v3 [command] [options]
ALIASES:
analytics-engine-v3, ae-v3
COMMANDS:
history-server Commands for HistoryServer resource.
instance Commands for Instance resource.
log-forwarding-config Commands for LogForwardingConfig resource.
spark-app Commands for SparkApp resource.
target All commands run after setting a target will be run on the target instance
OPTIONS:
-h, --help Show help
-j, --jmes-query string Provide a JMESPath query to customize output.
--output string Choose an output format - can be 'json', 'yaml', or 'table'. (default "table")
-q, --quiet Suppresses verbose messages.
-v, --version version for analytics-engine-v3
Use "ibmcloud analytics-engine-v3 service-command --help" for more information about a command.
設定目標實例
以下指令允許您設定一個目標實體,所有後續的 CLI 指令都會針對該實體執行。
注意:如果在任何 v3 CLI 命令中顯示傳送了實體 ID,則會覆寫設定為目標的實體 ID。
ibmcloud analytics-engine-v3 target [--instance-id INSTANCE-ID] [--unset-instance]
指令選項
- -i, --instance-id
- 目標 Analytics Engine 範例的識別碼。 所有後續指令都會針對目標實體執行。
- --unset-instance
- 撤銷目標實例設定
範例
以下範例說明如何設定目標實例:
$ ibmcloud ae-v3 target --instance-id d2189b-b729-61f-adc0-987001da52e3
...
Target instance d0f582f7-cbf4-4c64-bf7f-72efd21c9f32
Subsequent commands will be run against the target instance
下面的示例展示了如何撤銷目標實例:
$ ibmcloud ae-v3 target --unset-instance
...
Target instance d0f582f7-cbf4-4c64-bf7f-72efd21c9f32 revoked
No target instance is set
實體管理指令
使用此指令進行 Instance 管理。
ibmcloud analytics-engine-v3 instance --help
ibmcloud analytics-engine-v3 instance show
擷取單一 Analytics Engine 範例的詳細資料。
ibmcloud analytics-engine-v3 instance show [--id ID]
指令選項
-i,--id(字串)-
要擷取的 Analytics Engine 服務實體的 GUID。 指定時,它會覆寫已設定的目標實體 ID。 如果未設定目標實體,則必須使用。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。
範例
以下範例說明如何使用 show 指令,但不含實體 ID。 要求的操作會在目標實體上執行。
ibmcloud analytics-engine-v3 instance show --output json
下面的示例展示了如何使用 show 命令,如果定义了实例 ID,该 ID 将覆盖目标实例 ID:
ibmcloud analytics-engine-v3 instance show \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
輸出範例
輸出如下所示:
{
"id" : "dc0e9889-eab2-4t9e-9441-566209499546",
"state" : "active",
"state_change_time" : "2021-04-21T04:24:01Z",
"default_runtime" : {
"spark_version" : "3.3"
},
"instance_home" : {
"guid" : "30d5c4a7-9fb7-4712-9039-a79417dec87b",
"provider" : "ibm-cos",
"type" : "objectstore",
"region" : "us-south",
"endpoint" : "s3.direct.us-south.cloud-object-storage.appdomain.cloud",
"bucket" : "ae-bucket-do-not-delete-dc0e9889-eab2-4t9e-9441-566209499546",
"hmac_access_key" : "eH****g=",
"hmac_secret_key" : "4d********76"
},
"default_config" : {
"spark.driver.memory" : "4g",
"spark.driver.cores" : 1
}
}
ibmcloud analytics-engine-v3 instance state
擷取單一 Analytics Engine 範例的狀態。
ibmcloud analytics-engine-v3 instance state [--id ID]
指令選項
-i,--id(字串)-
要檢索狀態的 Analytics Engine 服務實體的 GUID。 指定時,它會覆寫已設定的目標實體 ID。 需要,如果未設定目標實體。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。
範例
ibmcloud analytics-engine-v3 instance state --output json
ibmcloud analytics-engine-v3 instance state \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
輸出範例
{
"id" : "dc0e9889-eab2-4t9e-9441-566209499546",
"state" : "active"
}
ibmcloud analytics-engine-v3 instance home-set
如果尚未設定「實例原點」,請提供 Cloud Object Storage 實例的詳細資訊,以便與 Analytics Engine 實例關聯,並用作「實例原點」。
注意:如果實體處於「instance_home_creation_failure」狀態,您可以再次設定「instance home」。
ibmcloud analytics-engine-v3 instance home-set [--id ID] [--instance-home-id INSTANCE-HOME-ID] [--endpoint ENDPOINT] [--hmac-access-key HMAC-ACCESS-KEY] [--hmac-secret-key HMAC-SECRET-KEY]
指令選項
-i,--id(字串)-
要設定「instance home」的 Analytics Engine 範例 ID。 指定時,它會覆寫已設定的目標實體 ID。 需要,如果未設定目標實體。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。 --instance-home-id(字串)-
家庭儲存實體的 UUID。
--endpoint(字串)-
存取 Cloud Object Storage 範例的端點。
預設值為
s3.direct.us-south.cloud-object-storage.appdomain.cloud。 --hmac-access-key(字串)-
Cloud Object Storage 存取鍵。 必要。
--hmac-secret-key(字串)-
Cloud Object Storage 秘密金鑰。 必要。
範例
ibmcloud analytics-engine-v3 instance home-set \
--hmac-access-key=821**********0ae \
--hmac-secret-key=03e****************4fc3 \
--output json
ibmcloud analytics-engine-v3 instance home-set \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--instance-home-id=701549e6-ab7e-43f2-8b7e-742698c53db8 \
--hmac-access-key=821**********0ae \
--hmac-secret-key=03e****************4fc3 \
--output json
輸出範例
輸出如下所示:
{
"instance_id" : "701549e6-ab7e-43f2-8b7e-742698c53db8",
"region" : "us-south",
"endpoint" : "https://s3.direct.us-south.cloud-object-storage.appdomain.cloud",
"hmac_access_key" : "b9**********4b",
"hmac_secret_key" : "fa******************8a"
}
ibmcloud analytics-engine-v3 instance default-configs
取得預設的 Spark 配置屬性,這些屬性將套用至所有應用程式的實體。
ibmcloud analytics-engine-v3 instance default-configs [--id ID]
指令選項
-i,--id(字串)-
Analytics Engine 範例的 ID。 指定時,它會覆寫已設定的目標實體 ID。 需要,如果未設定目標實體。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。
範例
ibmcloud analytics-engine-v3 instance default-configs --output json
ibmcloud analytics-engine-v3 instance default-configs \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
輸出範例
輸出如下所示:
{
"spark.driver.memory" : "4G",
"spark.driver.cores" : "1"
}
ibmcloud analytics-engine-v3 instance default-configs-replace
取代預設的 Spark 配置屬性,這些屬性將套用至所有應用程式的實體。
ibmcloud analytics-engine-v3 instance default-configs-replace [--id ID] --body BODY
指令選項
-i,--id(字串)-
Analytics Engine 範例的 ID。 指定時,它會覆寫已設定的目標實體 ID。 需要,如果未設定目標實體。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。 --body( [mapstringstring] )-
Spark 配置屬性,以取代現有的實體預設 Spark 配置。 必要。
範例
ibmcloud analytics-engine-v3 instance default-configs-replace \
--body='{"spark.driver.memory" : "8G", "spark.driver.cores" : "2"}' \
--output json
ibmcloud analytics-engine-v3 instance default-configs-replace \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--body='{"spark.driver.memory" : "8G", "spark.driver.cores" : "2"}' \
--output json
輸出範例
輸出如下所示:
{
"spark.driver.memory" : "8G",
"spark.driver.cores" : "2"
}
ibmcloud analytics-engine-v3 instance default-configs-update
更新預設的 Spark 組態屬性,這些屬性將套用至所有應用程式的實體。
ibmcloud analytics-engine-v3 instance default-configs-update [--id ID] --body BODY
指令選項
-i,--id(字串)-
Analytics Engine 範例的 ID。 指定時,它會覆寫已設定的目標實體 ID。 需要,如果未設定目標實體。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。 --body(一般地圖)-
要更新的 Spark 配置屬性。 屬性會與現有的組態屬性合併。 設定屬性值為
null,以便取消設定。 必要。
範例
ibmcloud analytics-engine-v3 instance default-configs-update \
--body='{"ae.spark.history-server.cores" : "1", "ae.spark.history-server.memory" : "4G"}' \
--output json
ibmcloud analytics-engine-v3 instance default-configs-update \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--body='{"ae.spark.history-server.cores" : "1", "ae.spark.history-server.memory" : "4G"}' \
--output json
輸出範例
輸出如下所示:
{
"ae.spark.history-server.cores" : "1",
"ae.spark.history-server.memory" : "4G",
"spark.driver.memory" : "8G",
"spark.driver.cores" : "2"
}
ibmcloud analytics-engine-v3 instance default-runtime
取得預設的執行環境,實體的所有工作負載都會在此環境上執行。
ibmcloud analytics-engine-v3 instance default-runtime [--id ID]
指令選項
-i,--id(字串)-
Analytics Engine 範例的 ID。 指定時,它會覆寫已設定的目標實體 ID。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。
範例
ibmcloud analytics-engine-v3 instance default-runtime --output json
ibmcloud analytics-engine-v3 instance default-runtime \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
輸出範例
輸出如下所示:
{
"spark_version" : "3.3"
}
ibmcloud analytics-engine-v3 instance default-runtime-replace
取代預設的執行環境,所有實例的工作負載都會在此環境上執行。
ibmcloud analytics-engine-v3 instance default-runtime-replace [--id ID] --runtime-spark-version RUNTIME-SPARK-VERSION
指令選項
-i,--id(字串)-
Analytics Engine 範例的 ID。 指定時,它會覆寫已設定的目標實體 ID。 需要,如果未設定目標實體。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。 --runtime-spark-version(字串)-
Spark 版本的執行環境。 必要。
允許值為:
3.1,3.3,3.4。
範例
ibmcloud analytics-engine-v3 instance default-runtime-replace \
--runtime-spark-version=3.3 \
--output json
ibmcloud analytics-engine-v3 instance default-runtime-replace \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--runtime-spark-version=3.3 \
--output json
輸出範例
輸出如下所示:
{
"spark_version" : "3.3"
}
ibmcloud analytics-engine-v3 instance current-resource-consumption
提供此時在服務實體中執行的所有應用程式所分配的總記憶體和虛擬處理器核心。 自動調整應用程式執行時,所分配的資源會根據應用程式的需求隨時間改變。
注意:消耗量並非 Spark 進程實際資源消耗量的指標。 它是在提交申請時分配給目前正在執行的應用程式的資源總和。
ibmcloud analytics-engine-v3 instance current-resource-consumption [--id ID]
指令選項
-i,--id(字串)-
Analytics Engine 範例的 ID。 指定時,它會覆寫已設定的目標實體 ID。 需要,如果未設定目標實體。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。
範例
ibmcloud analytics-engine-v3 instance current-resource-consumption --output json
ibmcloud analytics-engine-v3 instance current-resource-consumption \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
輸出範例
輸出如下所示:
{
"cores" : "2",
"memory" : "8G"
}
ibmcloud analytics-engine-v3 instance resource-consumption-limits
回傳在任何時間點於服務實體中執行的所有應用程式所分配的最大總記憶體和虛擬處理器核心。
ibmcloud analytics-engine-v3 instance resource-consumption-limits [--id ID]
指令選項
-i,--id(字串)-
Analytics Engine 範例的 ID。 指定時,它會覆寫已設定的目標實體 ID。 需要,如果未設定目標實體。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。
範例
ibmcloud analytics-engine-v3 instance resource-consumption-limits --output json
ibmcloud analytics-engine-v3 instance resource-consumption-limits \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
輸出範例
輸出如下所示:
{
"max_cores" : "150",
"max_memory" : "600G"
}
Spark 應用程式指令
使用 Spark 應用程式 CLI 指令,您可以執行下列操作:
ibmcloud analytics-engine-v3 spark-app --help
ibmcloud analytics-engine-v3 spark-app submit
在指定的無伺服器 Spark 實體上部署 Spark 應用程式。
ibmcloud analytics-engine-v3 spark-app submit [--instance-id INSTANCE-ID] [--app APP] [--runtime RUNTIME] [--jars JARS] [--packages PACKAGES] [--repositories REPOSITORIES] [--files FILES] [--archives ARCHIVES] [--name NAME] [--class CLASS] [--arg ARG] [--conf CONF] [--env ENV]
指令選項
-i,--instance-id(字串)-
與 Spark 應用程式相關的 Analytics Engine 範例的識別碼。 指定時,它會覆寫已設定的目標實體 ID。 需要,如果未設定目標實體。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。 --app(字串)-
要執行的應用程式路徑。 必要。
--runtime(Runtime)-
應用程式和其他工作負載的執行環境。
--jars(字串)-
包含應用程式的 jar 檔案路徑。
--packages(字串)-
套件名稱。
--repositories(字串)-
儲存庫名稱。
--files(字串)-
檔案名稱。
--archives(字串)-
存檔名稱。
--name(字串)-
應用程式的名稱。
--class(字串)-
Spark 應用程式以「.jar」檔形式綁定的入口點。 這只適用於 Java 或 Scala 應用程式。
值必須符合正規表達式
/([\\p{L}_$][\\p{L}\\p{N}_$]*\\.)*[\\p{L}_$][\\p{L}\\p{N}_$]*/。 --arg([]字串)-
要傳給應用程式的參數陣列。
--conf(一般地圖)-
應用程式設定,以覆寫在實體層級指定的值。 有關支援變數的清單,請參閱 Spark 環境變數。
--env(一般地圖)-
要使用的應用環境組態。 有關支援變數的清單,請參閱 Spark 環境變數。
範例
ibmcloud analytics-engine-v3 spark-app submit \
--arg "/opt/ibm/spark/examples/src/main/resources/people.txt" \
--app "/opt/ibm/spark/examples/src/main/python/wordcount.py" \
--runtime='{"spark_version": "3.3"}' \
--output json
ibmcloud analytics-engine-v3 spark-app submit \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--arg "/opt/ibm/spark/examples/src/main/resources/people.txt" \
--app "/opt/ibm/spark/examples/src/main/python/wordcount.py" \
--runtime='{"spark_version": "3.3"}' \
--output json
輸出範例
輸出如下所示:
{
"id" : "87e63712-a823-4aa1-9f6e-7291d4e5a113",
"state" : "accepted"
}
ibmcloud analytics-engine-v3 spark-app list
返回所有提交給指定 Analytics Engine 實例的 Spark 應用程式清單。 可透過指定查詢參數過濾結果。 透過指定 limit 查詢參數,可以限制傳回的應用程式數量。 將 start 與 limit 一起使用,可取得下一頁或上一頁的結果。
ibmcloud analytics-engine-v3 spark-app list [--instance-id INSTANCE-ID] [--state STATE] [--limit LIMIT] [--start START]
指令選項
-i,--instance-id(字串)-
與 Spark 應用程式相關的 Analytics Engine 範例的識別碼。 必要。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。 --state([]字串)-
用於篩選回應的 Spark 應用程式狀態清單。
允許的清單項目有
finished,running,failed,accepted,stopped,auto_terminated,ops_terminated。 --limit(int64)-
要包含在回覆中的申請項目數量。
最大值為
1000。 最小值為1。 --start(字串)-
用於取得應用程式清單下一頁或上一頁的令牌。
--all-pages(bool)-
發起多個請求,以顯示 spark-app-list 集合的所有頁面。
範例
ibmcloud analytics-engine-v3 spark-app list \
--state=finished \
--limit=25
ibmcloud analytics-engine-v3 spark-app list \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--state=finished \
--limit=25
輸出範例
輸出如下所示:
{
"applications" : [ {
"id" : "db933645-0b68-4dcb-80d8-7b71a6c8e542",
"spark_application_id" : "app-20211009103247-0000",
"spark_application_name" : "PythonWordCount",
"state" : "finished",
"submission_time" : "2021-04-21T04:23:50Z",
"start_time" : "2021-04-21T04:24:01Z",
"end_time" : "2021-04-21T04:25:18Z",
"finish_time" : "2021-04-21T04:25:18Z",
"auto_termination_time" : "2021-04-24T04:24:01Z"
}, {
"id" : "a2a2b23f-0929-4c49-9cc0-bd4c2bf953d9",
"spark_application_id" : "app-20211009103147-0000",
"spark_application_name" : "PythonWordCount",
"state" : "finished",
"submission_time" : "2021-04-21T04:21:50Z",
"start_time" : "2021-04-21T04:22:01Z",
"end_time" : "2021-04-21T04:23:18Z",
"finish_time" : "2021-04-21T04:23:18Z",
"auto_termination_time" : "2021-04-24T04:22:01Z"
} ],
"first" : {
"href" : "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/e64c907a-e82f-46fd-addc-ccfafbd28b09/spark_applications?limit=25"
},
"next" : {
"href" : "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/e64c907a-e82f-46fd-addc-ccfafbd28b09/spark_applications?limit=25&start=QiwyMDIyLTA5LTI2IDA4OjE4OjU2LjE4MiwxMDAyYTVlZC0xZWU4LTQwZWItOWUyNC00OTMyNTcxZjgzYzE",
"start" : "QiwyMDIyLTA5LTI2IDA4OjE4OjU2LjE4MiwxMDAyYTVlZC0xZWU4LTQwZWItOWUyNC00OTMyNTcxZjgzYzE"
},
"limit": 25
}
ibmcloud analytics-engine-v3 spark-app show
取得指定 Spark 應用程式的詳細資訊。
ibmcloud analytics-engine-v3 spark-app show [--instance-id INSTANCE-ID] --app-id APP-ID
指令選項
-i,--instance-id(字串)-
應用程式所屬實體的識別碼。 指定時,它會覆寫已設定的目標實體 ID。 需要,如果未設定目標實體。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。 --app-id(字串)-
要求詳細資訊的申請的識別碼。 必要。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。
範例
ibmcloud analytics-engine-v3 spark-app show \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
--output json
ibmcloud analytics-engine-v3 spark-app show \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
--output json
輸出範例
輸出如下所示:
{
"application_details" : {
"application" : "/opt/ibm/spark/examples/src/main/python/wordcount.py",
"arguments" : [ "/opt/ibm/spark/examples/src/main/resources/people.txt" ],
"runtime": {
"spark_version": "3.3"
}
},
"id" : "a9a6f328-56d8-4923-8042-97652fff2af3",
"spark_application_id" : "app-20210908112356-0000",
"spark_application_name" : "PythonWordCount",
"state" : "finished",
"submission_time" : "2021-04-21T04:23:55Z",
"start_time" : "2021-04-21T04:24:01Z",
"end_time" : "2021-04-21T04:28:15Z",
"finish_time" : "2021-04-21T04:28:15Z",
"auto_termination_time" : "2021-04-24T04:24:01Z"
}
ibmcloud analytics-engine-v3 spark-app stop
停止以 app_id 識別符識別的執行中應用程式。 這是一項冪等運算。 如果要求的應用程式已經停止或完成,則不執行任何動作。
ibmcloud analytics-engine-v3 spark-app stop [--instance-id INSTANCE-ID] --app-id APP-ID
指令選項
-i,--instance-id(字串)-
應用程式所屬實體的識別碼。 指定時,它會覆寫已設定的目標實體 ID。 需要,如果未設定目標實體。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。 --app-id(字串)-
需要停止的應用程式的識別碼。 必要。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。
範例
ibmcloud analytics-engine-v3 spark-app stop \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b
ibmcloud analytics-engine-v3 spark-app stop \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b
ibmcloud analytics-engine-v3 spark-app status
回傳指定 Spark 應用程式的狀態。
ibmcloud analytics-engine-v3 spark-app status [--instance-id INSTANCE-ID] --app-id APP-ID
指令選項
-i,--instance-id(字串)-
應用程式所屬實體的識別碼。 指定時,它會覆寫已設定的目標實體 ID。 需要,如果未設定目標實體。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。 --app-id(字串)-
要求詳細資訊的申請的識別碼。 必要。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。
範例
ibmcloud analytics-engine-v3 spark-app status \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
--output json
ibmcloud analytics-engine-v3 spark-app status \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
--output json
輸出範例
輸出如下所示:
{
"id" : "9da32aaf-df69-4e61-bdb8-1b2772c0f677",
"state" : "finished",
"start_time" : "2021-04-21T04:24:01Z",
"end_time" : "2021-04-21T04:28:15Z",
"finish_time" : "2021-04-21T04:28:15Z",
"auto_termination_time" : "2021-04-24T04:24:01Z"
}
日誌轉遞配置
使用此指令可啟用或停用將無伺服器實體的日誌轉發到 IBM Log Analysis 服務,並檢視日誌轉發設定的狀態。
ibmcloud analytics-engine-v3 log-forwarding-config --help
ibmcloud analytics-engine-v3 log-forwarding-config replace
修改將 Analytics Engine 實例的日誌轉發到 IBM Log Analysis 伺服器的設定。 使用此端點啟用或停用記錄轉送。
ibmcloud analytics-engine-v3 log-forwarding-config replace [--instance-id INSTANCE-ID] --enabled ENABLED [--sources SOURCES] [--tags TAGS]
指令選項
-i,--instance-id(字串)-
Analytics Engine 範例的 ID。 指定時,它會覆寫已設定的目標實體 ID。 需要,如果未設定目標實體。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。 --enabled(bool)-
啟用或停用記錄轉送。 必要。
--sources([]字串)-
將轉送的記錄來源清單。 預設情況下,只有「spark-driver」日誌會被轉寄。
--tags([]字串)-
要套用到正在轉送的記錄的標籤清單。 它們可用於過濾 IBM Log Analysis 伺服器中的日誌。
範例
ibmcloud analytics-engine-v3 log-forwarding-config replace \
--enabled=true \
--sources=spark-driver,spark-executor \
--tags=<tag_1>,<tag_2>,<tag_n> \
--output json
ibmcloud analytics-engine-v3 log-forwarding-config replace \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--enabled=true \
--sources=spark-driver,spark-executor \
--tags=<tag_1>,<tag_2>,<tag_n> \
--output json
輸出範例
輸出如下所示:
{
"sources" : [ "spark-driver", "spark-executor" ],
"log_server" : {
"type" : "ibm-log-analysis"
},
"enabled" : true
}
ibmcloud analytics-engine-v3 log-forwarding-config show
擷取 Analytics Engine 範例的日誌轉送設定。
ibmcloud analytics-engine-v3 log-forwarding-config show [--instance-id INSTANCE-ID]
指令選項
-i,--instance-id(字串)-
Analytics Engine 範例的 ID。 指定時,它會覆寫已設定的目標實體 ID。 需要,如果未設定目標實體。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。
範例
ibmcloud analytics-engine-v3 log-forwarding-config show --output json
ibmcloud analytics-engine-v3 log-forwarding-config show \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
輸出範例
輸出如下所示:
{
"sources" : [ "spark-driver", "spark-executor" ],
"log_server" : {
"type" : "ibm-log-analysis"
},
"enabled" : true
}
Spark 歷程伺服器
使用這些指令啟動或停止您實例的 Spark 歷史伺服器。
ibmcloud analytics-engine-v3 history-server --help
ibmcloud analytics-engine-v3 history-server start
啟動指定 Analytics Engine 範例的 Spark 歷史伺服器。
ibmcloud analytics-engine-v3 history-server start [--instance-id INSTANCE-ID]
指令選項
-i,--instance-id(字串)-
Spark 歷史伺服器所屬的 Analytics Engine 範例的 ID。 指定時,它會覆寫已設定的目標實體 ID。 需要,如果未設定目標實體。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。
範例
ibmcloud analytics-engine-v3 history-server start --output json
ibmcloud analytics-engine-v3 history-server start \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
輸出範例
輸出如下所示:
{
"state" : "started",
"cores" : "1",
"memory" : "4G",
"start_time" : "2022-02-21T07:37:47Z",
"auto_termination_time" : "2022-02-24T07:37:47Z"
}
ibmcloud analytics-engine-v3 history-server show
取得指定 Analytics Engine 範例的 Spark 歷史伺服器詳細資訊。
ibmcloud analytics-engine-v3 history-server show [--instance-id INSTANCE-ID]
指令選項
-i,--instance-id(字串)-
Spark 歷史伺服器所屬的 Analytics Engine 範例的 ID。 指定時,它會覆寫已設定的目標實體 ID。 需要,如果未設定目標實體。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。
範例
ibmcloud analytics-engine-v3 history-server show --output json
ibmcloud analytics-engine-v3 history-server show \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
輸出範例
輸出如下所示:
{
"state" : "started",
"cores" : "1",
"memory" : "4G",
"start_time" : "2022-02-21T07:37:47Z",
"auto_termination_time" : "2022-02-24T07:37:47Z"
}
ibmcloud analytics-engine-v3 history-server stop
停止指定 Analytics Engine 實例的 Spark 歷史伺服器。
ibmcloud analytics-engine-v3 history-server stop [--instance-id INSTANCE-ID]
指令選項
-i,--instance-id(字串)-
Spark 歷史伺服器所屬的 Analytics Engine 範例的 ID。 指定時,它會覆寫已設定的目標實體 ID。 需要,如果未設定目標實體。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。
範例
ibmcloud analytics-engine-v3 history-server stop --output json
ibmcloud analytics-engine-v3 history-server stop \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
日誌設定
注意:已停用。 請使用 log-forwarding-config 指令群組中的相應指令。
ibmcloud analytics-engine-v3 log-config --help
ibmcloud analytics-engine-v3 log-config update
啟用或停用 IBM Analytics Engine 至 IBM Log Analysis 伺服器的記錄轉送。
注意:已停用。 請改用 log-forwarding-config 指令群組中的 replace。
ibmcloud analytics-engine-v3 log-config update [--instance-id INSTANCE-ID] [--enable ENABLE]
指令選項
-i,--instance-id(字串)-
要設定記錄轉送的實體詳細資訊的 GUID。 指定時,它會覆寫已設定的目標實體 ID。 需要,如果未設定目標實體。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。 --enable(bool)-
啟用或停用記錄轉送。 必要。
範例
ibmcloud analytics-engine-v3 log-config update \
--enable=true \
--output json
ibmcloud analytics-engine-v3 log-config update \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--enable=true \
--output json
輸出範例
輸出如下所示:
{
"components" : [ "spark-driver", "spark-executor" ],
"log_server" : {
"type" : "ibm-log-analysis"
},
"enable" : true
}
ibmcloud analytics-engine-v3 log-config show
讀取指定 Analytics Engine 範例的記錄設定。
注意:已停用。 請改用 log-forwarding-config 指令群組中的 show。
ibmcloud analytics-engine-v3 log-config show [--instance-id INSTANCE-ID]
指令選項
-i,--instance-id(字串)-
Analytics Engine 服務實體的 GUID,用於擷取記錄設定。 指定時,它會覆寫已設定的目標實體 ID。 需要,如果未設定目標實體。
值必須符合正規表達式
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/。
範例
ibmcloud analytics-engine-v3 log-config show --output json
ibmcloud analytics-engine-v3 log-config show \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
輸出範例
輸出如下所示:
{
"components" : [ "spark-driver", "spark-executor" ],
"log_server" : {
"type" : "ibm-log-analysis"
},
"enable" : true
}
模式範例
以下模式範例表示指定指令選項所需的資料。 這些範例為資料結構建模,並包含預期值類型的占位符值。 當您執行指令時,請視情況以適用於您環境的值取代這些值。
運行環境
以下範例展示了 Runtime 物件的格式。
{
"spark_version" : "3.3"
}