サーバーレス・インスタンス用の IBM Analytics Engine CLI プラグイン
IBM Analytics Engine v3 CLI には、Standard Serverless Spark インスタンスと対話するためのコマンド・ライン・オプションが用意されています。 CLI を使用して、インスタンスと Spark アプリケーションを管理できます。 サーバーレス Analytics Engine インスタンスについて詳しくは、「サーバーレス・インスタンスにおけるアーキテクチャーと概念」を参照してください。
IBM Analytics Engine v3 CLI コマンドを実行するには、ibmcloud analytics-engine-v3 または ibmcloud ae-v3 を使用します。
前提条件
IBM Cloud CLI をローカル・システムにダウンロードしてインストールします。 CLI をインストールするには、IBM Cloud CLI を参照してください。
IBM Analytics Engine v3 CLI をインストールする
以下のコマンドを実行して、IBM Analytics Engine v3 CLI をインストールします。
ibmcloud plugin install analytics-engine-v3
以下の help CLI コマンドは、v3 CLI が以下の CLI コマンドをサポートすることを示しています。
$ ibmcloud ae-v3 --help
NAME:
analytics-engine-v3 - Manage serverless Spark instances and run applications.
USAGE:
ibmcloud analytics-engine-v3 [command] [options]
ALIASES:
analytics-engine-v3, ae-v3
COMMANDS:
history-server Commands for HistoryServer resource.
instance Commands for Instance resource.
log-forwarding-config Commands for LogForwardingConfig resource.
spark-app Commands for SparkApp resource.
target All commands run after setting a target will be run on the target instance
OPTIONS:
-h, --help Show help
-j, --jmes-query string Provide a JMESPath query to customize output.
--output string Choose an output format - can be 'json', 'yaml', or 'table'. (default "table")
-q, --quiet Suppresses verbose messages.
-v, --version version for analytics-engine-v3
Use "ibmcloud analytics-engine-v3 service-command --help" for more information about a command.
ターゲット・インスタンスの設定
次のコマンドを実行すると、以降のすべての CLI コマンドの実行対象となるターゲットインスタンスを設定できます。
注： v3 のCLIコマンドでインスタンスIDを明示的に指定した場合、そのインスタンスIDがターゲットとして設定されているインスタンスIDよりも優先されます。
ibmcloud analytics-engine-v3 target [--instance-id INSTANCE-ID] [--unset-instance]
コマンド・オプション
- -i, --instance-id
- ターゲットの Analytics Engine インスタンスの識別子。 後続のコマンドはすべてターゲット・インスタンスに対して実行される。
- --unset-instance
- ターゲット・インスタンス設定の取り消し
例
以下の例は、ターゲット・インスタンスを設定する方法を示しています。
$ ibmcloud ae-v3 target --instance-id d2189b-b729-61f-adc0-987001da52e3
...
Target instance d0f582f7-cbf4-4c64-bf7f-72efd21c9f32
Subsequent commands will be run against the target instance
以下の例は、ターゲット・インスタンスを取り消す方法を示しています。
$ ibmcloud ae-v3 target --unset-instance
...
Target instance d0f582f7-cbf4-4c64-bf7f-72efd21c9f32 revoked
No target instance is set
インスタンス管理コマンド
インスタンス管理にはこのコマンドを使用する。
ibmcloud analytics-engine-v3 instance --help
ibmcloud analytics-engine-v3 instance show
Analytics Engine のインスタンス1つの詳細情報を取得します。
ibmcloud analytics-engine-v3 instance show [--id ID]
コマンド・オプション
-i--id(文字列)-
取得する Analytics Engine サービスインスタンスの GUID。 指定された場合、ターゲット・インスタンスIDが設定されていれば、それを上書きする。 ターゲット・インスタンスが設定されていない場合は必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。
例
次の例では、インスタンスIDを指定せずに show。 要求された操作が対象インスタンスに対して実行されます。
ibmcloud analytics-engine-v3 instance show --output json
次の例では、ターゲット・インスタンスIDが定義されている場合、それをオーバーライドするインスタンスIDで show ：
ibmcloud analytics-engine-v3 instance show \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
出力例
出力は以下のとおりです。
{
"id" : "dc0e9889-eab2-4t9e-9441-566209499546",
"state" : "active",
"state_change_time" : "2021-04-21T04:24:01Z",
"default_runtime" : {
"spark_version" : "3.3"
},
"instance_home" : {
"guid" : "30d5c4a7-9fb7-4712-9039-a79417dec87b",
"provider" : "ibm-cos",
"type" : "objectstore",
"region" : "us-south",
"endpoint" : "s3.direct.us-south.cloud-object-storage.appdomain.cloud",
"bucket" : "ae-bucket-do-not-delete-dc0e9889-eab2-4t9e-9441-566209499546",
"hmac_access_key" : "eH****g=",
"hmac_secret_key" : "4d********76"
},
"default_config" : {
"spark.driver.memory" : "4g",
"spark.driver.cores" : 1
}
}
ibmcloud analytics-engine-v3 instance state
単一の Analytics Engine インスタンスの状態を取得する。
ibmcloud analytics-engine-v3 instance state [--id ID]
コマンド・オプション
-i--id(文字列)-
状態を取得する Analytics Engine サービスインスタンスの GUID。 指定された場合、ターゲット・インスタンスIDが設定されていれば、それを上書きする。 ターゲット・インスタンスが設定されていない場合は必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。
例
ibmcloud analytics-engine-v3 instance state --output json
ibmcloud analytics-engine-v3 instance state \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
出力例
{
"id" : "dc0e9889-eab2-4t9e-9441-566209499546",
"state" : "active"
}
ibmcloud analytics-engine-v3 instance home-set
インスタンスホーム」がまだ設定されていない場合は、 Analytics Engine インスタンスと関連付け、「インスタンスホーム」として使用する Cloud Object Storage インスタンスの詳細を指定する。
注意：インスタンスが「instance_home_creation_failure」状態であれば、「instance home」を設定し直すことができる。
ibmcloud analytics-engine-v3 instance home-set [--id ID] [--instance-home-id INSTANCE-HOME-ID] [--endpoint ENDPOINT] [--hmac-access-key HMAC-ACCESS-KEY] [--hmac-secret-key HMAC-SECRET-KEY]
コマンド・オプション
-i--id(文字列)-
インスタンス・ホーム」を設定する Analytics Engine インスタンスのID。 指定された場合、ターゲット・インスタンスIDが設定されていれば、それを上書きする。 ターゲット・インスタンスが設定されていない場合は必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。 --instance-home-id(文字列)-
インスタンス・ホーム・ストレージ・インスタンスのUUID。
--endpoint(文字列)-
Cloud Object Storage インスタンスにアクセスするためのエンドポイント。
デフォルト値は
s3.direct.us-south.cloud-object-storage.appdomain.cloudです。 --hmac-access-key(文字列)-
Cloud Object Storage アクセスキー。 必須。
--hmac-secret-key(文字列)-
Cloud Object Storage 秘密鍵。 必須。
例
ibmcloud analytics-engine-v3 instance home-set \
--hmac-access-key=821**********0ae \
--hmac-secret-key=03e****************4fc3 \
--output json
ibmcloud analytics-engine-v3 instance home-set \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--instance-home-id=701549e6-ab7e-43f2-8b7e-742698c53db8 \
--hmac-access-key=821**********0ae \
--hmac-secret-key=03e****************4fc3 \
--output json
出力例
出力は以下のとおりです。
{
"instance_id" : "701549e6-ab7e-43f2-8b7e-742698c53db8",
"region" : "us-south",
"endpoint" : "https://s3.direct.us-south.cloud-object-storage.appdomain.cloud",
"hmac_access_key" : "b9**********4b",
"hmac_secret_key" : "fa******************8a"
}
ibmcloud analytics-engine-v3 instance default-configs
インスタンスのすべてのアプリケーションに適用されるデフォルトのSpark設定プロパティを取得します。
ibmcloud analytics-engine-v3 instance default-configs [--id ID]
コマンド・オプション
-i--id(文字列)-
Analytics Engine インスタンスのID。 指定された場合、ターゲット・インスタンスIDが設定されていれば、それを上書きする。 ターゲット・インスタンスが設定されていない場合は必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。
例
ibmcloud analytics-engine-v3 instance default-configs --output json
ibmcloud analytics-engine-v3 instance default-configs \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
出力例
出力は以下のとおりです。
{
"spark.driver.memory" : "4G",
"spark.driver.cores" : "1"
}
ibmcloud analytics-engine-v3 instance default-configs-replace
インスタンスのすべてのアプリケーションに適用されるデフォルトのSpark構成プロパティを置き換える。
ibmcloud analytics-engine-v3 instance default-configs-replace [--id ID] --body BODY
コマンド・オプション
-i--id(文字列)-
Analytics Engine インスタンスのID。 指定された場合、ターゲット・インスタンスIDが設定されていれば、それを上書きする。 ターゲット・インスタンスが設定されていない場合は必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。 --body(マップ文字[列] )-
既存のインスタンスのデフォルト Spark 設定を置き換えるための Spark 設定プロパティ。 必須。
例
ibmcloud analytics-engine-v3 instance default-configs-replace \
--body='{"spark.driver.memory" : "8G", "spark.driver.cores" : "2"}' \
--output json
ibmcloud analytics-engine-v3 instance default-configs-replace \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--body='{"spark.driver.memory" : "8G", "spark.driver.cores" : "2"}' \
--output json
出力例
出力は以下のとおりです。
{
"spark.driver.memory" : "8G",
"spark.driver.cores" : "2"
}
ibmcloud analytics-engine-v3 instance default-configs-update
インスタンスのすべてのアプリケーションに適用されるデフォルトのSpark構成プロパティを更新する。
ibmcloud analytics-engine-v3 instance default-configs-update [--id ID] --body BODY
コマンド・オプション
-i--id(文字列)-
Analytics Engine インスタンスのID。 指定された場合、ターゲット・インスタンスIDが設定されていれば、それを上書きする。 ターゲット・インスタンスが設定されていない場合は必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。 --body(一般地図）-
更新されるスパーク設定プロパティ。 プロパティは既存の構成プロパティとマージされます。 プロパティ値を設定解除するには、
null。 必須。
例
ibmcloud analytics-engine-v3 instance default-configs-update \
--body='{"ae.spark.history-server.cores" : "1", "ae.spark.history-server.memory" : "4G"}' \
--output json
ibmcloud analytics-engine-v3 instance default-configs-update \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--body='{"ae.spark.history-server.cores" : "1", "ae.spark.history-server.memory" : "4G"}' \
--output json
出力例
出力は以下のとおりです。
{
"ae.spark.history-server.cores" : "1",
"ae.spark.history-server.memory" : "4G",
"spark.driver.memory" : "8G",
"spark.driver.cores" : "2"
}
ibmcloud analytics-engine-v3 instance default-runtime
インスタンスのすべてのワークロードが実行されるデフォルトの実行環境を取得する。
ibmcloud analytics-engine-v3 instance default-runtime [--id ID]
コマンド・オプション
-i--id(文字列)-
Analytics Engine インスタンスのID。 指定された場合、ターゲット・インスタンスIDが設定されていれば、それを上書きする。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。
例
ibmcloud analytics-engine-v3 instance default-runtime --output json
ibmcloud analytics-engine-v3 instance default-runtime \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
出力例
出力は以下のとおりです。
{
"spark_version" : "3.3"
}
ibmcloud analytics-engine-v3 instance default-runtime-replace
インスタンスのすべてのワークロードが実行されるデフォルトのランタイム環境を置き換える。
ibmcloud analytics-engine-v3 instance default-runtime-replace [--id ID] --runtime-spark-version RUNTIME-SPARK-VERSION
コマンド・オプション
-i--id(文字列)-
Analytics Engine インスタンスのID。 指定された場合、ターゲット・インスタンスIDが設定されていれば、それを上書きする。 ターゲット・インスタンスが設定されていない場合は必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。 --runtime-spark-version(文字列)-
実行環境のSparkバージョン。 必須。
許容値は、
3.1、3.3、3.4です。
例
ibmcloud analytics-engine-v3 instance default-runtime-replace \
--runtime-spark-version=3.3 \
--output json
ibmcloud analytics-engine-v3 instance default-runtime-replace \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--runtime-spark-version=3.3 \
--output json
出力例
出力は以下のとおりです。
{
"spark_version" : "3.3"
}
ibmcloud analytics-engine-v3 instance current-resource-consumption
この時点でサービスインスタンスで実行されているすべてのアプリケーションに割り当てられているメモリと仮想プロセッサコアの合計を提供します。 自動スケーリングされたアプリケーションが実行されている場合、割り当てられるリソースは、アプリケーションの要求に基づいて時間と共に変化する。
注：消費量は、Sparkプロセスによる実際のリソース消費を示すものではない。 これは、申請書を提出した時点で、現在実行中のアプリケーションに割り当てられているリソースの合計である。
ibmcloud analytics-engine-v3 instance current-resource-consumption [--id ID]
コマンド・オプション
-i--id(文字列)-
Analytics Engine インスタンスの ID。 指定された場合、ターゲット・インスタンスIDが設定されていれば、それを上書きする。 ターゲット・インスタンスが設定されていない場合は必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。
例
ibmcloud analytics-engine-v3 instance current-resource-consumption --output json
ibmcloud analytics-engine-v3 instance current-resource-consumption \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
出力例
出力は以下のとおりです。
{
"cores" : "2",
"memory" : "8G"
}
ibmcloud analytics-engine-v3 instance resource-consumption-limits
任意の時点でサービスインスタンス内で実行されているすべてのアプリケーションに割り当てられた、メモリと仮想プロセッサコアの合計の最大値を返します。
ibmcloud analytics-engine-v3 instance resource-consumption-limits [--id ID]
コマンド・オプション
-i--id(文字列)-
Analytics Engine インスタンスの ID。 指定された場合、ターゲット・インスタンスIDが設定されていれば、それを上書きする。 ターゲット・インスタンスが設定されていない場合は必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。
例
ibmcloud analytics-engine-v3 instance resource-consumption-limits --output json
ibmcloud analytics-engine-v3 instance resource-consumption-limits \
--id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
出力例
出力は以下のとおりです。
{
"max_cores" : "150",
"max_memory" : "600G"
}
Spark アプリケーション・コマンド
Spark アプリケーション CLI コマンドを使用して、以下の操作を実行できます。
- Spark アプリケーションを送信する
- 送信されたすべてのアプリケーションをリストする
- Spark アプリケーションの詳細を取得する
- 送信されたアプリケーションの状況を表示する
- 送信された Spark アプリケーションを停止する
ibmcloud analytics-engine-v3 spark-app --help
ibmcloud analytics-engine-v3 spark-app submit
指定されたサーバーレス Spark インスタンス上に Spark アプリケーションをデプロイします。
ibmcloud analytics-engine-v3 spark-app submit [--instance-id INSTANCE-ID] [--app APP] [--runtime RUNTIME] [--jars JARS] [--packages PACKAGES] [--repositories REPOSITORIES] [--files FILES] [--archives ARCHIVES] [--name NAME] [--class CLASS] [--arg ARG] [--conf CONF] [--env ENV]
コマンド・オプション
-i--instance-id(文字列)-
Spark アプリケーションに関連付けられた Analytics Engine インスタンスの識別子。 指定された場合、ターゲット・インスタンスIDが設定されていれば、それを上書きする。 ターゲット・インスタンスが設定されていない場合は必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。 --app(文字列)-
実行するアプリケーションのパス。 必須。
--runtime(Runtime)-
アプリケーションやその他のワークロードのランタイム環境。
--jars(文字列)-
アプリケーションを含むjarファイルのパス。
--packages(文字列)-
パッケージ名。
--repositories(文字列)-
リポジトリ名
--files(文字列)-
ファイル名
--archives(文字列)-
アーカイブ名
--name(文字列)-
アプリケーションの名前。
--class(文字列)-
.jar'ファイルとしてバンドルされたSparkアプリケーションのエントリーポイント。 これは、 Java または Scala アプリケーションにのみ適用される。
その値は、正規表現「
/([\\p{L}_$][\\p{L}\\p{N}_$]*\\.)*[\\p{L}_$][\\p{L}\\p{N}_$]*/」に一致する必要があります。 --arg([]文字列)-
アプリケーションに渡す引数の配列。
--conf(一般地図）-
インスタンス・レベルで指定された値を上書きするアプリケーション・コンフィギュレーション。 サポートされている変数のリストについては、 Spark環境変数を 参照してください。
--env(一般地図）-
使用するアプリケーション環境設定。 サポートされている変数のリストについては、 Spark環境変数を 参照してください。
例
ibmcloud analytics-engine-v3 spark-app submit \
--arg "/opt/ibm/spark/examples/src/main/resources/people.txt" \
--app "/opt/ibm/spark/examples/src/main/python/wordcount.py" \
--runtime='{"spark_version": "3.3"}' \
--output json
ibmcloud analytics-engine-v3 spark-app submit \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--arg "/opt/ibm/spark/examples/src/main/resources/people.txt" \
--app "/opt/ibm/spark/examples/src/main/python/wordcount.py" \
--runtime='{"spark_version": "3.3"}' \
--output json
出力例
出力は以下のとおりです。
{
"id" : "87e63712-a823-4aa1-9f6e-7291d4e5a113",
"state" : "accepted"
}
ibmcloud analytics-engine-v3 spark-app list
指定された Analytics Engine インスタンスに提出されたすべての Spark アプリケーションのリストを返します。 結果はクエリーパラメーターを指定することでフィルタリングできる。 limit クエリーパラメーターを指定することで、返されるアプリケーションの数を制限することができます。 結果の次のページや前のページを取得するには、 start と limit を併用する。
ibmcloud analytics-engine-v3 spark-app list [--instance-id INSTANCE-ID] [--state STATE] [--limit LIMIT] [--start START]
コマンド・オプション
-i--instance-id(文字列)-
Spark アプリケーションに関連付けられた Analytics Engine インスタンスの識別子。 必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。 --state([]文字列)-
レスポンスのフィルタリングに使用されるSparkアプリケーションの状態のリスト。
許可されるリスト項目は以下の通りです：
finishedrunning,failed,accepted,stopped,auto_terminated,ops_terminated. --limit(int64)-
回答に含まれるアプリケーションのエントリー数。
最大値は
1000です。 最小値は1です。 --start(文字列)-
アプリケーションリストの次のページまたは前のページを取得するために使用されるトークン。
--all-pages(bool)-
spark-app-list のコレクションの全ページを表示するには、複数のリクエストを実行してください。
例
ibmcloud analytics-engine-v3 spark-app list \
--state=finished \
--limit=25
ibmcloud analytics-engine-v3 spark-app list \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--state=finished \
--limit=25
出力例
出力は以下のとおりです。
{
"applications" : [ {
"id" : "db933645-0b68-4dcb-80d8-7b71a6c8e542",
"spark_application_id" : "app-20211009103247-0000",
"spark_application_name" : "PythonWordCount",
"state" : "finished",
"submission_time" : "2021-04-21T04:23:50Z",
"start_time" : "2021-04-21T04:24:01Z",
"end_time" : "2021-04-21T04:25:18Z",
"finish_time" : "2021-04-21T04:25:18Z",
"auto_termination_time" : "2021-04-24T04:24:01Z"
}, {
"id" : "a2a2b23f-0929-4c49-9cc0-bd4c2bf953d9",
"spark_application_id" : "app-20211009103147-0000",
"spark_application_name" : "PythonWordCount",
"state" : "finished",
"submission_time" : "2021-04-21T04:21:50Z",
"start_time" : "2021-04-21T04:22:01Z",
"end_time" : "2021-04-21T04:23:18Z",
"finish_time" : "2021-04-21T04:23:18Z",
"auto_termination_time" : "2021-04-24T04:22:01Z"
} ],
"first" : {
"href" : "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/e64c907a-e82f-46fd-addc-ccfafbd28b09/spark_applications?limit=25"
},
"next" : {
"href" : "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/e64c907a-e82f-46fd-addc-ccfafbd28b09/spark_applications?limit=25&start=QiwyMDIyLTA5LTI2IDA4OjE4OjU2LjE4MiwxMDAyYTVlZC0xZWU4LTQwZWItOWUyNC00OTMyNTcxZjgzYzE",
"start" : "QiwyMDIyLTA5LTI2IDA4OjE4OjU2LjE4MiwxMDAyYTVlZC0xZWU4LTQwZWItOWUyNC00OTMyNTcxZjgzYzE"
},
"limit": 25
}
ibmcloud analytics-engine-v3 spark-app show
指定されたSparkアプリケーションの詳細を取得します。
ibmcloud analytics-engine-v3 spark-app show [--instance-id INSTANCE-ID] --app-id APP-ID
コマンド・オプション
-i--instance-id(文字列)-
アプリケーションが属するインスタンスの識別子。 指定された場合、ターゲット・インスタンスIDが設定されていれば、それを上書きする。 ターゲット・インスタンスが設定されていない場合は必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。 --app-id(文字列)-
詳細を要求するアプリケーションの識別子。 必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。
例
ibmcloud analytics-engine-v3 spark-app show \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
--output json
ibmcloud analytics-engine-v3 spark-app show \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
--output json
出力例
出力は以下のとおりです。
{
"application_details" : {
"application" : "/opt/ibm/spark/examples/src/main/python/wordcount.py",
"arguments" : [ "/opt/ibm/spark/examples/src/main/resources/people.txt" ],
"runtime": {
"spark_version": "3.3"
}
},
"id" : "a9a6f328-56d8-4923-8042-97652fff2af3",
"spark_application_id" : "app-20210908112356-0000",
"spark_application_name" : "PythonWordCount",
"state" : "finished",
"submission_time" : "2021-04-21T04:23:55Z",
"start_time" : "2021-04-21T04:24:01Z",
"end_time" : "2021-04-21T04:28:15Z",
"finish_time" : "2021-04-21T04:28:15Z",
"auto_termination_time" : "2021-04-24T04:24:01Z"
}
ibmcloud analytics-engine-v3 spark-app stop
app_id 識別子で指定された、実行中のアプリケーションを停止します。 これはべき等の操作です。 要求されたアプリケーションが既に停止または完了している場合は、アクションを実行しません。
ibmcloud analytics-engine-v3 spark-app stop [--instance-id INSTANCE-ID] --app-id APP-ID
コマンド・オプション
-i--instance-id(文字列)-
アプリケーションが属するインスタンスの識別子。 指定された場合、ターゲット・インスタンスIDが設定されていれば、それを上書きする。 ターゲット・インスタンスが設定されていない場合は必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。 --app-id(文字列)-
停止が必要なアプリケーションの識別子。 必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。
例
ibmcloud analytics-engine-v3 spark-app stop \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b
ibmcloud analytics-engine-v3 spark-app stop \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b
ibmcloud analytics-engine-v3 spark-app status
指定された Spark アプリケーションのステータスを返します。
ibmcloud analytics-engine-v3 spark-app status [--instance-id INSTANCE-ID] --app-id APP-ID
コマンド・オプション
-i--instance-id(文字列)-
アプリケーションが属するインスタンスの識別子。 指定された場合、ターゲット・インスタンスIDが設定されていれば、それを上書きする。 ターゲット・インスタンスが設定されていない場合は必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。 --app-id(文字列)-
詳細を要求するアプリケーションの識別子。 必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。
例
ibmcloud analytics-engine-v3 spark-app status \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
--output json
ibmcloud analytics-engine-v3 spark-app status \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
--output json
出力例
出力は以下のとおりです。
{
"id" : "9da32aaf-df69-4e61-bdb8-1b2772c0f677",
"state" : "finished",
"start_time" : "2021-04-21T04:24:01Z",
"end_time" : "2021-04-21T04:28:15Z",
"finish_time" : "2021-04-21T04:28:15Z",
"auto_termination_time" : "2021-04-24T04:24:01Z"
}
ログ転送構成
このコマンドを使用すると、サーバーレスインスタンスから IBM Log Analysis サービスへのログ転送を有効または無効にしたり、ログ転送設定のステータスを確認したりできます。
ibmcloud analytics-engine-v3 log-forwarding-config --help
ibmcloud analytics-engine-v3 log-forwarding-config replace
Analytics Engine インスタンスから IBM Log Analysis サーバーにログを転送する設定を変更する。 このエンドポイントを使用して、ログ転送を有効または無効にする。
ibmcloud analytics-engine-v3 log-forwarding-config replace [--instance-id INSTANCE-ID] --enabled ENABLED [--sources SOURCES] [--tags TAGS]
コマンド・オプション
-i--instance-id(文字列)-
Analytics Engine インスタンスの ID。 指定された場合、ターゲット・インスタンスIDが設定されていれば、それを上書きする。 ターゲット・インスタンスが設定されていない場合は必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。 --enabled(bool)-
ログ転送を有効または無効にする。 必須。
--sources([]文字列)-
転送されるログのソースのリスト。 デフォルトでは、'spark-driver'ログのみが転送される。
--tags([]文字列)-
転送されるログに適用されるタグのリスト。 これらは、 IBM Log Analysis サーバー内のログをフィルタリングするために使用できます。
例
ibmcloud analytics-engine-v3 log-forwarding-config replace \
--enabled=true \
--sources=spark-driver,spark-executor \
--tags=<tag_1>,<tag_2>,<tag_n> \
--output json
ibmcloud analytics-engine-v3 log-forwarding-config replace \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--enabled=true \
--sources=spark-driver,spark-executor \
--tags=<tag_1>,<tag_2>,<tag_n> \
--output json
出力例
出力は以下のとおりです。
{
"sources" : [ "spark-driver", "spark-executor" ],
"log_server" : {
"type" : "ibm-log-analysis"
},
"enabled" : true
}
ibmcloud analytics-engine-v3 log-forwarding-config show
Analytics Engine インスタンスのログ転送設定を取得する。
ibmcloud analytics-engine-v3 log-forwarding-config show [--instance-id INSTANCE-ID]
コマンド・オプション
-i--instance-id(文字列)-
Analytics Engine インスタンスの ID。 指定された場合、ターゲット・インスタンスIDが設定されていれば、それを上書きする。 ターゲット・インスタンスが設定されていない場合は必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。
例
ibmcloud analytics-engine-v3 log-forwarding-config show --output json
ibmcloud analytics-engine-v3 log-forwarding-config show \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
出力例
出力は以下のとおりです。
{
"sources" : [ "spark-driver", "spark-executor" ],
"log_server" : {
"type" : "ibm-log-analysis"
},
"enabled" : true
}
Spark ヒストリー・サーバー
これらのコマンドを使用して、インスタンスのSpark履歴サーバーを起動または停止します。
ibmcloud analytics-engine-v3 history-server --help
ibmcloud analytics-engine-v3 history-server start
指定した Analytics Engine インスタンスの Spark 履歴サーバーを起動します。
ibmcloud analytics-engine-v3 history-server start [--instance-id INSTANCE-ID]
コマンド・オプション
-i--instance-id(文字列)-
Spark 履歴サーバーが属する Analytics Engine インスタンスの ID。 指定された場合、ターゲット・インスタンスIDが設定されていれば、それを上書きする。 ターゲット・インスタンスが設定されていない場合は必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。
例
ibmcloud analytics-engine-v3 history-server start --output json
ibmcloud analytics-engine-v3 history-server start \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
出力例
出力は以下のとおりです。
{
"state" : "started",
"cores" : "1",
"memory" : "4G",
"start_time" : "2022-02-21T07:37:47Z",
"auto_termination_time" : "2022-02-24T07:37:47Z"
}
ibmcloud analytics-engine-v3 history-server show
指定した Analytics Engine インスタンスの Spark 履歴サーバーの詳細を取得します。
ibmcloud analytics-engine-v3 history-server show [--instance-id INSTANCE-ID]
コマンド・オプション
-i--instance-id(文字列)-
Spark 履歴サーバーが属する Analytics Engine インスタンスの ID。 指定された場合、ターゲット・インスタンスIDが設定されていれば、それを上書きする。 ターゲット・インスタンスが設定されていない場合は必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。
例
ibmcloud analytics-engine-v3 history-server show --output json
ibmcloud analytics-engine-v3 history-server show \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
出力例
出力は以下のとおりです。
{
"state" : "started",
"cores" : "1",
"memory" : "4G",
"start_time" : "2022-02-21T07:37:47Z",
"auto_termination_time" : "2022-02-24T07:37:47Z"
}
ibmcloud analytics-engine-v3 history-server stop
指定した Analytics Engine インスタンスの Spark 履歴サーバーを停止します。
ibmcloud analytics-engine-v3 history-server stop [--instance-id INSTANCE-ID]
コマンド・オプション
-i--instance-id(文字列)-
Spark 履歴サーバーが属する Analytics Engine インスタンスの ID。 指定された場合、ターゲット・インスタンスIDが設定されていれば、それを上書きする。 ターゲット・インスタンスが設定されていない場合は必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。
例
ibmcloud analytics-engine-v3 history-server stop --output json
ibmcloud analytics-engine-v3 history-server stop \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
ログ構成
注：非推奨。 代わりに log-forwarding-config コマンドグループの同等のコマンドを使用する。
ibmcloud analytics-engine-v3 log-config --help
ibmcloud analytics-engine-v3 log-config update
IBM Analytics Engine から IBM Log Analysis サーバーへのログ転送を有効または無効にする。
注：非推奨。 代わりに log-forwarding-config コマンドグループの replace を使用する。
ibmcloud analytics-engine-v3 log-config update [--instance-id INSTANCE-ID] [--enable ENABLE]
コマンド・オプション
-i--instance-id(文字列)-
ログ転送を設定するインスタンスの詳細のGUID。 指定された場合、ターゲット・インスタンスIDが設定されていれば、それを上書きする。 ターゲット・インスタンスが設定されていない場合は必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。 --enable(bool)-
ログ転送を有効または無効にする。 必須。
例
ibmcloud analytics-engine-v3 log-config update \
--enable=true \
--output json
ibmcloud analytics-engine-v3 log-config update \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--enable=true \
--output json
出力例
出力は以下のとおりです。
{
"components" : [ "spark-driver", "spark-executor" ],
"log_server" : {
"type" : "ibm-log-analysis"
},
"enable" : true
}
ibmcloud analytics-engine-v3 log-config show
与えられた Analytics Engine インスタンスのロギング設定を取得する。
注：非推奨。 代わりに log-forwarding-config コマンドグループの show を使用する。
ibmcloud analytics-engine-v3 log-config show [--instance-id INSTANCE-ID]
コマンド・オプション
-i--instance-id(文字列)-
ログ構成を取得する Analytics Engine サービスインスタンスの GUID。 指定された場合、ターゲット・インスタンスIDが設定されていれば、それを上書きする。 ターゲット・インスタンスが設定されていない場合は必須。
その値は、正規表現「
/\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/」に一致する必要があります。
例
ibmcloud analytics-engine-v3 log-config show --output json
ibmcloud analytics-engine-v3 log-config show \
--instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
--output json
出力例
出力は以下のとおりです。
{
"components" : [ "spark-driver", "spark-executor" ],
"log_server" : {
"type" : "ibm-log-analysis"
},
"enable" : true
}
スキーマの例
次のスキーマ例は、コマンド・オプションを指定するために必要なデータを表している。 これらの例は、データ構造をモデル化したものであり、想定される値の型に対応するプレースホルダー値が含まれています。 コマンドを実行するときには、これらの値を実際の環境に当てはまる値に適宜置き換えてください。
のランタイム
次の例は、Runtime オブジェクトの形式を示しています。
{
"spark_version" : "3.3"
}