CLI-Plug-in von IBM Analytics Engine für serverunabhängige Instanzen

Die Befehlszeilenschnittstelle von IBM Analytics Engine v3 stellt Befehlszeilenoptionen zur Interaktion mit Standard Serverless Spark-Instanzen bereit. Sie können Instanzen und Spark-Anwendungen über die Befehlszeilenschnittstelle verwalten. Weitere Informationen zu serverunabhängigen Analytics Engine-Instanzen finden Sie unter Architektur und Konzepte in serverunabhängigen Instanzen.

Verwenden Sie zum Ausführen von CLI-Befehlen in IBM Analytics Engine v3 ibmcloud analytics-engine-v3 oder ibmcloud ae-v3.

Voraussetzungen

Laden Sie die IBM Cloud-Befehlszeilenschnittstelle auf Ihr lokales System herunter und installieren Sie sie. Informationen zur Installation der Befehlszeilenschnittstelle finden Sie unter IBM Cloud-CLI .

Befehlszeilenschnittstelle von IBM Analytics Engine v3 installieren

Installieren Sie die Befehlszeilenschnittstelle von IBM Analytics Engine v3 mit dem folgenden Befehl:

ibmcloud plugin install analytics-engine-v3

Der folgende CLI-Befehl "help" zeigt, dass die Befehlszeilenschnittstelle von Version 3 CLI-Befehle für folgende Zwecke unterstützt:

Zielinstanz festlegen
Instanzverwaltung
Spark-Anwendungsmanagement
Konfiguration der Protokollweiterleitung
Verwaltung von Spark-Historienservern

$ ibmcloud ae-v3 --help

NAME:
  analytics-engine-v3 - Manage serverless Spark instances and run applications.

USAGE:
  ibmcloud analytics-engine-v3 [command] [options]

ALIASES:
  analytics-engine-v3, ae-v3

COMMANDS:
  history-server          Commands for HistoryServer resource.
  instance                Commands for Instance resource.
  log-forwarding-config   Commands for LogForwardingConfig resource.
  spark-app               Commands for SparkApp resource.
  target                  All commands run after setting a target will be run on the target instance

OPTIONS:
  -h, --help                Show help
  -j, --jmes-query string   Provide a JMESPath query to customize output.
      --output string       Choose an output format - can be 'json', 'yaml', or 'table'. (default "table")
  -q, --quiet               Suppresses verbose messages.
  -v, --version             version for analytics-engine-v3

Use "ibmcloud analytics-engine-v3 service-command --help" for more information about a command.

Zielinstanz festlegen

Mit dem folgenden Befehl können Sie eine Zielinstanz festlegen, für die alle nachfolgenden CLI-Befehle ausgeführt werden.

Hinweis: Wird die Instanz-ID in einem der CLI-Befehle von „ v3 “ explizit übergeben, überschreibt sie die als Ziel festgelegte Instanz-ID.

ibmcloud analytics-engine-v3 target [--instance-id INSTANCE-ID] [--unset-instance]

Befehlsoptionen

-i, --instance-id: Der Bezeichner der Zielinstanz Analytics Engine. Alle nachfolgenden Befehle werden auf der Zielinstanz ausgeführt.
--unset-instance: Zielinstanzfestlegung widerrufen

Beispiele

Das folgende Beispiel verdeutlicht, wie Sie eine Zielinstanz festlegen können:

$ ibmcloud ae-v3 target --instance-id d2189b-b729-61f-adc0-987001da52e3
...

Target instance d0f582f7-cbf4-4c64-bf7f-72efd21c9f32
Subsequent commands will be run against the target instance

Das folgende Beispiel verdeutlicht, wie Sie eine Zielinstanz widerrufen können:

$ ibmcloud ae-v3 target --unset-instance
...

Target instance d0f582f7-cbf4-4c64-bf7f-72efd21c9f32 revoked
No target instance is set

Befehle für das Instanzmanagement

Verwenden Sie diesen Befehl für die Instanzverwaltung.

ibmcloud analytics-engine-v3 instance --help

`ibmcloud analytics-engine-v3 instance show`

Die Details einer einzelnen „ Analytics Engine “-Instanz abrufen.

ibmcloud analytics-engine-v3 instance show [--id ID]

Befehlsoptionen

-i, --id (Zeichenkette)

GUID der abzurufenden Analytics Engine Service-Instanz. Wenn sie angegeben wird, überschreibt sie die Zielinstanz-ID, falls diese festgelegt wurde. Erforderlich, wenn die Zielinstanz nicht gesetzt wurde.

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

Beispiele

Das folgende Beispiel zeigt, wie Sie den Befehl show ohne eine Instanz-ID verwenden. Der angeforderte Vorgang wird auf der Zielinstanz ausgeführt.

ibmcloud analytics-engine-v3 instance show --output json

Das folgende Beispiel zeigt, wie der Befehl show mit einer Instanz-ID verwendet wird, die die Ziel-Instanz-ID überschreibt, falls sie definiert ist:

ibmcloud analytics-engine-v3 instance show \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Beispielausgabe

Die Ausgabe ist wie folgt:

{
  "id" : "dc0e9889-eab2-4t9e-9441-566209499546",
  "state" : "active",
  "state_change_time" : "2021-04-21T04:24:01Z",
  "default_runtime" : {
    "spark_version" : "3.3"
  },
  "instance_home" : {
    "guid" : "30d5c4a7-9fb7-4712-9039-a79417dec87b",
    "provider" : "ibm-cos",
    "type" : "objectstore",
    "region" : "us-south",
    "endpoint" : "s3.direct.us-south.cloud-object-storage.appdomain.cloud",
    "bucket" : "ae-bucket-do-not-delete-dc0e9889-eab2-4t9e-9441-566209499546",
    "hmac_access_key" : "eH****g=",
    "hmac_secret_key" : "4d********76"
  },
  "default_config" : {
    "spark.driver.memory" : "4g",
    "spark.driver.cores" : 1
  }
}

`ibmcloud analytics-engine-v3 instance state`

Abrufen des Zustands einer einzelnen Analytics Engine-Instanz.

ibmcloud analytics-engine-v3 instance state [--id ID]

Befehlsoptionen

-i, --id (Zeichenkette)

GUID der Analytics Engine Dienstinstanz zum Abrufen des Status. Wenn sie angegeben wird, überschreibt sie die Zielinstanz-ID, falls diese festgelegt wurde. Erforderlich, wenn die Zielinstanz nicht gesetzt wurde.

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

Beispiele

ibmcloud analytics-engine-v3 instance state --output json

ibmcloud analytics-engine-v3 instance state \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Beispielausgabe

{
  "id" : "dc0e9889-eab2-4t9e-9441-566209499546",
  "state" : "active"
}

`ibmcloud analytics-engine-v3 instance home-set`

Geben Sie die Details der Instanz Cloud Object Storage an, die mit der Instanz Analytics Engine verknüpft und als "Instance Home" verwendet werden soll, wenn "Instance Home" nicht bereits festgelegt wurde.

Hinweis: Sie können "instance home" erneut einstellen, wenn sich die Instanz im Zustand "instance_home_creation_failure" befindet.

ibmcloud analytics-engine-v3 instance home-set [--id ID] [--instance-home-id INSTANCE-HOME-ID] [--endpoint ENDPOINT] [--hmac-access-key HMAC-ACCESS-KEY] [--hmac-secret-key HMAC-SECRET-KEY]

Befehlsoptionen

-i, --id (Zeichenkette)

Die ID der Instanz Analytics Engine, für die "instance home" festgelegt werden soll. Wenn sie angegeben wird, überschreibt sie die Zielinstanz-ID, falls diese festgelegt wurde. Erforderlich, wenn die Zielinstanz nicht gesetzt wurde.

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

--instance-home-id (Zeichenfolge)

UUID der Instanz Heimatspeicherinstanz.

--endpoint (Zeichenfolge)

Endpunkt für den Zugriff auf die Instanz Cloud Object Storage.

Der Standardwert ist s3.direct.us-south.cloud-object-storage.appdomain.cloud.

--hmac-access-key (Zeichenfolge)

Cloud Object Storage Zugriffstaste. Erforderlich.

--hmac-secret-key (Zeichenfolge)

Cloud Object Storage geheimer Schlüssel. Erforderlich.

Beispiele

ibmcloud analytics-engine-v3 instance home-set \
    --hmac-access-key=821**********0ae \
    --hmac-secret-key=03e****************4fc3 \
    --output json

ibmcloud analytics-engine-v3 instance home-set \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --instance-home-id=701549e6-ab7e-43f2-8b7e-742698c53db8 \
    --hmac-access-key=821**********0ae \
    --hmac-secret-key=03e****************4fc3 \
    --output json

Beispielausgabe

Die Ausgabe ist wie folgt:

{
  "instance_id" : "701549e6-ab7e-43f2-8b7e-742698c53db8",
  "region" : "us-south",
  "endpoint" : "https://s3.direct.us-south.cloud-object-storage.appdomain.cloud",
  "hmac_access_key" : "b9**********4b",
  "hmac_secret_key" : "fa******************8a"
}

`ibmcloud analytics-engine-v3 instance default-configs`

Rufen Sie die standardmäßigen Spark-Konfigurationseigenschaften ab, die auf alle Anwendungen der Instanz angewendet werden.

ibmcloud analytics-engine-v3 instance default-configs [--id ID]

Befehlsoptionen

-i, --id (Zeichenkette)

Die ID der Instanz Analytics Engine. Wenn sie angegeben wird, überschreibt sie die Zielinstanz-ID, falls diese festgelegt wurde. Erforderlich, wenn die Zielinstanz nicht gesetzt wurde.

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

Beispiele

ibmcloud analytics-engine-v3 instance default-configs --output json

ibmcloud analytics-engine-v3 instance default-configs \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Beispielausgabe

Die Ausgabe ist wie folgt:

{
  "spark.driver.memory" : "4G",
  "spark.driver.cores" : "1"
}

`ibmcloud analytics-engine-v3 instance default-configs-replace`

Ersetzen Sie die standardmäßigen Spark-Konfigurationseigenschaften, die auf alle Anwendungen der Instanz angewendet werden.

ibmcloud analytics-engine-v3 instance default-configs-replace [--id ID] --body BODY

Befehlsoptionen

-i, --id (Zeichenkette)

Die ID der Instanz Analytics Engine. Wenn sie angegeben wird, überschreibt sie die Zielinstanz-ID, falls diese festgelegt wurde. Erforderlich, wenn die Zielinstanz nicht gesetzt wurde.

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

--body ( [mapstringstring] )

Spark-Konfigurationseigenschaften, um bestehende Spark-Standardkonfigurationen der Instanz zu ersetzen. Erforderlich.

Beispiele

ibmcloud analytics-engine-v3 instance default-configs-replace \
    --body='{"spark.driver.memory" : "8G", "spark.driver.cores" : "2"}' \
    --output json

ibmcloud analytics-engine-v3 instance default-configs-replace \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --body='{"spark.driver.memory" : "8G", "spark.driver.cores" : "2"}' \
    --output json

Beispielausgabe

Die Ausgabe ist wie folgt:

{
  "spark.driver.memory" : "8G",
  "spark.driver.cores" : "2"
}

`ibmcloud analytics-engine-v3 instance default-configs-update`

Aktualisieren Sie die standardmäßigen Spark-Konfigurationseigenschaften, die auf alle Anwendungen der Instanz angewendet werden.

ibmcloud analytics-engine-v3 instance default-configs-update [--id ID] --body BODY

Befehlsoptionen

-i, --id (Zeichenkette)

Die ID der Instanz Analytics Engine. Wenn sie angegeben wird, überschreibt sie die Zielinstanz-ID, falls diese festgelegt wurde. Erforderlich, wenn die Zielinstanz nicht gesetzt wurde.

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

--body (generische Karte)

Zu aktualisierende Eigenschaften der Spark-Konfiguration. Die Eigenschaften werden mit den vorhandenen Konfigurationseigenschaften zusammengeführt. Setzen Sie einen Eigenschaftswert auf null, um ihn wieder zu löschen. Erforderlich.

Beispiele

ibmcloud analytics-engine-v3 instance default-configs-update \
    --body='{"ae.spark.history-server.cores" : "1", "ae.spark.history-server.memory" : "4G"}' \
    --output json

ibmcloud analytics-engine-v3 instance default-configs-update \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --body='{"ae.spark.history-server.cores" : "1", "ae.spark.history-server.memory" : "4G"}' \
    --output json

Beispielausgabe

Die Ausgabe ist wie folgt:

{
  "ae.spark.history-server.cores" : "1",
  "ae.spark.history-server.memory" : "4G",
  "spark.driver.memory" : "8G",
  "spark.driver.cores" : "2"
}

`ibmcloud analytics-engine-v3 instance default-runtime`

Rufen Sie die Standard-Laufzeitumgebung ab, in der alle Workloads der Instanz ausgeführt werden.

ibmcloud analytics-engine-v3 instance default-runtime [--id ID]

Befehlsoptionen

-i, --id (Zeichenkette)

Die ID der Instanz Analytics Engine. Wenn sie angegeben wird, überschreibt sie die Zielinstanz-ID, falls diese festgelegt wurde.

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

Beispiele

ibmcloud analytics-engine-v3 instance default-runtime --output json

ibmcloud analytics-engine-v3 instance default-runtime \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Beispielausgabe

Die Ausgabe ist wie folgt:

{
  "spark_version" : "3.3"
}

`ibmcloud analytics-engine-v3 instance default-runtime-replace`

Ersetzen Sie die Standard-Laufzeitumgebung, in der alle Workloads der Instanz ausgeführt werden sollen.

ibmcloud analytics-engine-v3 instance default-runtime-replace [--id ID] --runtime-spark-version RUNTIME-SPARK-VERSION

Befehlsoptionen

-i, --id (Zeichenkette)

Die ID der Instanz Analytics Engine. Wenn sie angegeben wird, überschreibt sie die Zielinstanz-ID, falls diese festgelegt wurde. Erforderlich, wenn die Zielinstanz nicht gesetzt wurde.

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

--runtime-spark-version (Zeichenfolge)

Spark-Version der Laufzeitumgebung. Erforderlich.

Zulässige Werte: 3.1, 3.3, 3.4.

Beispiele

ibmcloud analytics-engine-v3 instance default-runtime-replace \
    --runtime-spark-version=3.3 \
    --output json

ibmcloud analytics-engine-v3 instance default-runtime-replace \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --runtime-spark-version=3.3 \
    --output json

Beispielausgabe

Die Ausgabe ist wie folgt:

{
  "spark_version" : "3.3"
}

`ibmcloud analytics-engine-v3 instance current-resource-consumption`

Gibt den Gesamtspeicher und die virtuellen Prozessorkerne an, die allen zu diesem Zeitpunkt in der Dienstinstanz laufenden Anwendungen zugewiesen sind. Wenn automatisch skalierte Anwendungen laufen, ändern sich die zugewiesenen Ressourcen im Laufe der Zeit, je nach den Anforderungen der Anwendungen.

Hinweis: Der Verbrauch ist kein Hinweis auf den tatsächlichen Ressourcenverbrauch von Spark-Prozessen. Es ist die Summe der Ressourcen, die den derzeit laufenden Anwendungen zum Zeitpunkt der Antragstellung zugewiesen sind.

ibmcloud analytics-engine-v3 instance current-resource-consumption [--id ID]

Befehlsoptionen

-i, --id (Zeichenkette)

ID der Instanz Analytics Engine. Wenn sie angegeben wird, überschreibt sie die Zielinstanz-ID, falls diese festgelegt wurde. Erforderlich, wenn die Zielinstanz nicht gesetzt wurde.

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

Beispiele

ibmcloud analytics-engine-v3 instance current-resource-consumption --output json

ibmcloud analytics-engine-v3 instance current-resource-consumption \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Beispielausgabe

Die Ausgabe ist wie folgt:

{
  "cores" : "2",
  "memory" : "8G"
}

`ibmcloud analytics-engine-v3 instance resource-consumption-limits`

Gibt den maximalen Gesamtspeicher und die virtuellen Prozessorkerne zurück, die allen in der Dienstinstanz laufenden Anwendungen zu einem beliebigen Zeitpunkt zugewiesen sind.

ibmcloud analytics-engine-v3 instance resource-consumption-limits [--id ID]

Befehlsoptionen

-i, --id (Zeichenkette)

ID der Instanz Analytics Engine. Wenn sie angegeben wird, überschreibt sie die Zielinstanz-ID, falls diese festgelegt wurde. Erforderlich, wenn die Zielinstanz nicht gesetzt wurde.

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

Beispiele

ibmcloud analytics-engine-v3 instance resource-consumption-limits --output json

ibmcloud analytics-engine-v3 instance resource-consumption-limits \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Beispielausgabe

Die Ausgabe ist wie folgt:

{
  "max_cores" : "150",
  "max_memory" : "600G"
}

Spark-Anwendungsbefehle

Mit den CLI-Befehlen der Spark-Anwendung können Sie die folgenden Operationen durchführen:

Spark-Anwendung übergeben
Alle übergebenen Anwendungen auflisten
Details einer Spark-Anwendung abrufen
Status einer übergebenen Anwendung anzeigen
Übergebene Spark-Anwendung stoppen

ibmcloud analytics-engine-v3 spark-app --help

`ibmcloud analytics-engine-v3 spark-app submit`

Stellt eine Spark-Anwendung auf einer bestimmten serverlosen Spark-Instanz bereit.

ibmcloud analytics-engine-v3 spark-app submit [--instance-id INSTANCE-ID] [--app APP] [--runtime RUNTIME] [--jars JARS] [--packages PACKAGES] [--repositories REPOSITORIES] [--files FILES] [--archives ARCHIVES] [--name NAME] [--class CLASS] [--arg ARG] [--conf CONF] [--env ENV]

Befehlsoptionen

-i, --instance-id (Zeichenkette)

Der Bezeichner der Analytics Engine-Instanz, die mit der/den Spark-Anwendung(en) verbunden ist. Wenn sie angegeben wird, überschreibt sie die Zielinstanz-ID, falls diese festgelegt wurde. Erforderlich, wenn die Zielinstanz nicht gesetzt wurde.

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

--app (Zeichenfolge)

Pfad der zu startenden Anwendung. Erforderlich.

--runtime (Runtime)

Laufzeitumgebung für Anwendungen und andere Workloads.

--jars (Zeichenfolge)

Pfad der JAR-Dateien, die die Anwendung enthalten.

--packages (Zeichenfolge)

Paketnamen.

--repositories (Zeichenfolge)

Namen der Repositories.

--files (Zeichenfolge)

Dateinamen.

--archives (Zeichenfolge)

Namen des Archivs.

--name (Zeichenfolge)

Der Name der Anwendung.

--class (Zeichenfolge)

Einstiegspunkt für eine Spark-Anwendung, die als '.jar'-Datei gebündelt ist. Dies gilt nur für die Anwendungen Java oder Scala.

Der Wert muss dem regulären Ausdruck „ /([\\p{L}_$][\\p{L}\\p{N}_$]*\\.)*[\\p{L}_$][\\p{L}\\p{N}_$]*/ “ entsprechen.

--arg ([]-Zeichenkette)

Ein Array mit Argumenten, die an die Anwendung übergeben werden.

--conf (generische Karte)

Anwendungskonfigurationen, die den auf Instanzebene angegebenen Wert außer Kraft setzen. Unter Spark-Umgebungsvariablen finden Sie eine Liste der unterstützten Variablen.

--env (generische Karte)

Zu verwendende Konfigurationen der Anwendungsumgebung. Unter Spark-Umgebungsvariablen finden Sie eine Liste der unterstützten Variablen.

Beispiele

ibmcloud analytics-engine-v3 spark-app submit \
    --arg "/opt/ibm/spark/examples/src/main/resources/people.txt" \
    --app "/opt/ibm/spark/examples/src/main/python/wordcount.py" \
    --runtime='{"spark_version": "3.3"}' \
    --output json

ibmcloud analytics-engine-v3 spark-app submit \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --arg "/opt/ibm/spark/examples/src/main/resources/people.txt" \
    --app "/opt/ibm/spark/examples/src/main/python/wordcount.py" \
    --runtime='{"spark_version": "3.3"}' \
    --output json

Beispielausgabe

Die Ausgabe ist wie folgt:

{
  "id" : "87e63712-a823-4aa1-9f6e-7291d4e5a113",
  "state" : "accepted"
}

`ibmcloud analytics-engine-v3 spark-app list`

Gibt eine Liste aller Spark-Anwendungen zurück, die an die angegebene Instanz Analytics Engine übermittelt wurden. Das Ergebnis kann durch die Angabe von Abfrageparametern gefiltert werden. Die Anzahl der zurückgegebenen Anträge kann durch Angabe des Abfrageparameters limit begrenzt werden. Verwenden Sie start zusammen mit limit, um die nächste oder vorherige Seite der Ergebnisse abzurufen.

ibmcloud analytics-engine-v3 spark-app list [--instance-id INSTANCE-ID] [--state STATE] [--limit LIMIT] [--start START]

Befehlsoptionen

-i, --instance-id (Zeichenkette)

Der Bezeichner der Analytics Engine-Instanz, die mit der/den Spark-Anwendung(en) verbunden ist. Erforderlich.

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

--state ([]-Zeichenkette)

Liste der Spark-Anwendungszustände, die zum Filtern der Antwort verwendet werden.

Erlaubte Listenelemente sind: finished, running, failed, accepted, stopped, auto_terminated, ops_terminated.

--limit (int64)

Anzahl der Bewerbungseinträge, die in der Antwort enthalten sein müssen.

Der Maximalwert beträgt 1000. Der Mindestwert ist 1.

--start (Zeichenfolge)

Token, mit dem die nächste oder vorherige Seite der Anwendungsliste aufgerufen werden kann.

--all-pages (bool)

Führen Sie mehrere Abfragen durch, um alle Seiten der Sammlung für „spark-app-list“ anzuzeigen.

Beispiele

ibmcloud analytics-engine-v3 spark-app list \
    --state=finished \
    --limit=25

ibmcloud analytics-engine-v3 spark-app list \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --state=finished \
    --limit=25

Beispielausgabe

Die Ausgabe ist wie folgt:

{
  "applications" : [ {
    "id" : "db933645-0b68-4dcb-80d8-7b71a6c8e542",
    "spark_application_id" : "app-20211009103247-0000",
    "spark_application_name" : "PythonWordCount",
    "state" : "finished",
    "submission_time" : "2021-04-21T04:23:50Z",
    "start_time" : "2021-04-21T04:24:01Z",
    "end_time" : "2021-04-21T04:25:18Z",
    "finish_time" : "2021-04-21T04:25:18Z",
    "auto_termination_time" : "2021-04-24T04:24:01Z"
  }, {
    "id" : "a2a2b23f-0929-4c49-9cc0-bd4c2bf953d9",
    "spark_application_id" : "app-20211009103147-0000",
    "spark_application_name" : "PythonWordCount",
    "state" : "finished",
    "submission_time" : "2021-04-21T04:21:50Z",
    "start_time" : "2021-04-21T04:22:01Z",
    "end_time" : "2021-04-21T04:23:18Z",
    "finish_time" : "2021-04-21T04:23:18Z",
    "auto_termination_time" : "2021-04-24T04:22:01Z"
  } ],
  "first" : {
    "href" : "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/e64c907a-e82f-46fd-addc-ccfafbd28b09/spark_applications?limit=25"
  },
  "next" : {
    "href" : "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/e64c907a-e82f-46fd-addc-ccfafbd28b09/spark_applications?limit=25&start=QiwyMDIyLTA5LTI2IDA4OjE4OjU2LjE4MiwxMDAyYTVlZC0xZWU4LTQwZWItOWUyNC00OTMyNTcxZjgzYzE",
    "start" : "QiwyMDIyLTA5LTI2IDA4OjE4OjU2LjE4MiwxMDAyYTVlZC0xZWU4LTQwZWItOWUyNC00OTMyNTcxZjgzYzE"
  },
  "limit": 25
}

`ibmcloud analytics-engine-v3 spark-app show`

Ruft die Details einer bestimmten Spark-Anwendung ab.

ibmcloud analytics-engine-v3 spark-app show [--instance-id INSTANCE-ID] --app-id APP-ID

Befehlsoptionen

-i, --instance-id (Zeichenkette)

Kennung der Instanz, zu der die Anwendung gehört. Wenn sie angegeben wird, überschreibt sie die Zielinstanz-ID, falls diese festgelegt wurde. Erforderlich, wenn die Zielinstanz nicht gesetzt wurde.

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

--app-id (Zeichenfolge)

Kennung der Anwendung, für die Einzelheiten angefordert werden. Erforderlich.

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

Beispiele

ibmcloud analytics-engine-v3 spark-app show \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
    --output json

ibmcloud analytics-engine-v3 spark-app show \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
    --output json

Beispielausgabe

Die Ausgabe ist wie folgt:

{
  "application_details" : {
    "application" : "/opt/ibm/spark/examples/src/main/python/wordcount.py",
    "arguments" : [ "/opt/ibm/spark/examples/src/main/resources/people.txt" ],
    "runtime": {
      "spark_version": "3.3"
    }
  },
  "id" : "a9a6f328-56d8-4923-8042-97652fff2af3",
  "spark_application_id" : "app-20210908112356-0000",
  "spark_application_name" : "PythonWordCount",
  "state" : "finished",
  "submission_time" : "2021-04-21T04:23:55Z",
  "start_time" : "2021-04-21T04:24:01Z",
  "end_time" : "2021-04-21T04:28:15Z",
  "finish_time" : "2021-04-21T04:28:15Z",
  "auto_termination_time" : "2021-04-24T04:24:01Z"
}

`ibmcloud analytics-engine-v3 spark-app stop`

Beendet eine laufende Anwendung, die durch den Bezeichner „app_id“ identifiziert wird. Dies ist eine idempotente Operation. Führt keine Aktion aus, wenn die angeforderte Anwendung bereits gestoppt oder abgeschlossen ist.

ibmcloud analytics-engine-v3 spark-app stop [--instance-id INSTANCE-ID] --app-id APP-ID

Befehlsoptionen

-i, --instance-id (Zeichenkette)

Kennung der Instanz, zu der die Anwendung gehört. Wenn sie angegeben wird, überschreibt sie die Zielinstanz-ID, falls diese festgelegt wurde. Erforderlich, wenn die Zielinstanz nicht gesetzt wurde.

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

--app-id (Zeichenfolge)

Kennung der Anwendung, die angehalten werden muss. Erforderlich.

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

Beispiele

ibmcloud analytics-engine-v3 spark-app stop \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b

ibmcloud analytics-engine-v3 spark-app stop \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b

`ibmcloud analytics-engine-v3 spark-app status`

Gibt den Status der angegebenen Spark-Anwendung zurück.

ibmcloud analytics-engine-v3 spark-app status [--instance-id INSTANCE-ID] --app-id APP-ID

Befehlsoptionen

-i, --instance-id (Zeichenkette)

Kennung der Instanz, zu der die Anwendungen gehören. Wenn sie angegeben wird, überschreibt sie die Zielinstanz-ID, falls diese festgelegt wurde. Erforderlich, wenn die Zielinstanz nicht gesetzt wurde.

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

--app-id (Zeichenfolge)

Kennung der Anwendung, für die Einzelheiten angefordert werden. Erforderlich.

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

Beispiele

ibmcloud analytics-engine-v3 spark-app status \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
    --output json

ibmcloud analytics-engine-v3 spark-app status \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
    --output json

Beispielausgabe

Die Ausgabe ist wie folgt:

{
  "id" : "9da32aaf-df69-4e61-bdb8-1b2772c0f677",
  "state" : "finished",
  "start_time" : "2021-04-21T04:24:01Z",
  "end_time" : "2021-04-21T04:28:15Z",
  "finish_time" : "2021-04-21T04:28:15Z",
  "auto_termination_time" : "2021-04-24T04:24:01Z"
}

Konfiguration der Protokollweiterleitung

Verwenden Sie diesen Befehl, um die Weiterleitung von Protokollen von einer serverlosen Instanz an einen „ IBM “-Dienst unter Log Analysis zu aktivieren oder zu deaktivieren und um den Status der Konfiguration für die Protokollweiterleitung anzuzeigen.

ibmcloud analytics-engine-v3 log-forwarding-config --help

`ibmcloud analytics-engine-v3 log-forwarding-config replace`

Ändern Sie die Konfiguration für die Weiterleitung von Protokollen von der Instanz Analytics Engine an den Server IBM Log Analysis. Verwenden Sie diesen Endpunkt, um die Protokollweiterleitung zu aktivieren oder zu deaktivieren.

ibmcloud analytics-engine-v3 log-forwarding-config replace [--instance-id INSTANCE-ID] --enabled ENABLED [--sources SOURCES] [--tags TAGS]

Befehlsoptionen

-i, --instance-id (Zeichenkette)

ID der Instanz Analytics Engine. Wenn sie angegeben wird, überschreibt sie die Zielinstanz-ID, falls diese festgelegt wurde. Erforderlich, wenn die Zielinstanz nicht gesetzt wurde.

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

--enabled (bool)

Aktivieren oder deaktivieren Sie die Protokollweiterleitung. Erforderlich.

--sources ([]-Zeichenkette)

Liste der Quellen von Protokollen, die weitergeleitet werden sollen. Standardmäßig werden nur "spark-driver"-Protokolle weitergeleitet.

--tags ([]-Zeichenkette)

Liste der Tags, die auf die weiterzuleitenden Protokolle angewendet werden sollen. Sie können verwendet werden, um die Protokolle auf dem Server IBM Log Analysis zu filtern.

Beispiele

ibmcloud analytics-engine-v3 log-forwarding-config replace \
    --enabled=true \
    --sources=spark-driver,spark-executor \
    --tags=<tag_1>,<tag_2>,<tag_n> \
    --output json

ibmcloud analytics-engine-v3 log-forwarding-config replace \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --enabled=true \
    --sources=spark-driver,spark-executor \
    --tags=<tag_1>,<tag_2>,<tag_n> \
    --output json

Beispielausgabe

Die Ausgabe ist wie folgt:

{
  "sources" : [ "spark-driver", "spark-executor" ],
  "log_server" : {
    "type" : "ibm-log-analysis"
  },
  "enabled" : true
}

`ibmcloud analytics-engine-v3 log-forwarding-config show`

Ruft die Konfiguration der Protokollweiterleitung der Instanz Analytics Engine ab.

ibmcloud analytics-engine-v3 log-forwarding-config show [--instance-id INSTANCE-ID]

Befehlsoptionen

-i, --instance-id (Zeichenkette)

ID der Instanz Analytics Engine. Wenn sie angegeben wird, überschreibt sie die Zielinstanz-ID, falls diese festgelegt wurde. Erforderlich, wenn die Zielinstanz nicht gesetzt wurde.

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

Beispiele

ibmcloud analytics-engine-v3 log-forwarding-config show --output json

ibmcloud analytics-engine-v3 log-forwarding-config show \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Beispielausgabe

Die Ausgabe ist wie folgt:

{
  "sources" : [ "spark-driver", "spark-executor" ],
  "log_server" : {
    "type" : "ibm-log-analysis"
  },
  "enabled" : true
}

Spark-Protokollserver

Verwenden Sie diese Befehle, um den Spark-History-Server Ihrer Instanz zu starten oder zu beenden.

ibmcloud analytics-engine-v3 history-server --help

`ibmcloud analytics-engine-v3 history-server start`

Startet den Spark-Historienserver für die angegebene Instanz Analytics Engine.

ibmcloud analytics-engine-v3 history-server start [--instance-id INSTANCE-ID]

Befehlsoptionen

-i, --instance-id (Zeichenkette)

Die ID der Instanz Analytics Engine, zu der der Spark-Historienserver gehört. Wenn sie angegeben wird, überschreibt sie die Zielinstanz-ID, falls diese festgelegt wurde. Erforderlich, wenn die Zielinstanz nicht gesetzt wurde.

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

Beispiele

ibmcloud analytics-engine-v3 history-server start --output json

ibmcloud analytics-engine-v3 history-server start \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Beispielausgabe

Die Ausgabe ist wie folgt:

{
  "state" : "started",
  "cores" : "1",
  "memory" : "4G",
  "start_time" : "2022-02-21T07:37:47Z",
  "auto_termination_time" : "2022-02-24T07:37:47Z"
}

`ibmcloud analytics-engine-v3 history-server show`

Ermittelt die Details des Spark-History-Servers der angegebenen Analytics Engine-Instanz.

ibmcloud analytics-engine-v3 history-server show [--instance-id INSTANCE-ID]

Befehlsoptionen

-i, --instance-id (Zeichenkette)

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

Beispiele

ibmcloud analytics-engine-v3 history-server show --output json

ibmcloud analytics-engine-v3 history-server show \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Beispielausgabe

Die Ausgabe ist wie folgt:

{
  "state" : "started",
  "cores" : "1",
  "memory" : "4G",
  "start_time" : "2022-02-21T07:37:47Z",
  "auto_termination_time" : "2022-02-24T07:37:47Z"
}

`ibmcloud analytics-engine-v3 history-server stop`

Stoppt den Spark-History-Server der angegebenen Analytics Engine-Instanz.

ibmcloud analytics-engine-v3 history-server stop [--instance-id INSTANCE-ID]

Befehlsoptionen

-i, --instance-id (Zeichenkette)

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

Beispiele

ibmcloud analytics-engine-v3 history-server stop --output json

ibmcloud analytics-engine-v3 history-server stop \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Protokollkonfiguration

Hinweis: Veraltet. Verwenden Sie stattdessen entsprechende Befehle aus der Befehlsgruppe log-forwarding-config.

ibmcloud analytics-engine-v3 log-config --help

`ibmcloud analytics-engine-v3 log-config update`

Aktivieren oder deaktivieren Sie die Protokollweiterleitung von IBM Analytics Engine an IBM Log Analysis.

Hinweis: Veraltet. Verwenden Sie stattdessen replace aus der Befehlsgruppe log-forwarding-config.

ibmcloud analytics-engine-v3 log-config update [--instance-id INSTANCE-ID] [--enable ENABLE]

Befehlsoptionen

-i, --instance-id (Zeichenkette)

GUID der Instanzdetails, für die die Protokollweiterleitung konfiguriert werden soll. Wenn sie angegeben wird, überschreibt sie die Zielinstanz-ID, falls diese festgelegt wurde. Erforderlich, wenn die Zielinstanz nicht gesetzt wurde.

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

--enable (bool)

Aktivieren oder deaktivieren Sie die Protokollweiterleitung. Erforderlich.

Beispiele

ibmcloud analytics-engine-v3 log-config update \
    --enable=true \
    --output json

ibmcloud analytics-engine-v3 log-config update \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --enable=true \
    --output json

Beispielausgabe

Die Ausgabe ist wie folgt:

{
  "components" : [ "spark-driver", "spark-executor" ],
  "log_server" : {
    "type" : "ibm-log-analysis"
  },
  "enable" : true
}

`ibmcloud analytics-engine-v3 log-config show`

Ruft die Protokollierungskonfiguration einer bestimmten Analytics Engine-Instanz ab.

Hinweis: Veraltet. Verwenden Sie stattdessen show aus der Befehlsgruppe log-forwarding-config.

ibmcloud analytics-engine-v3 log-config show [--instance-id INSTANCE-ID]

Befehlsoptionen

-i, --instance-id (Zeichenkette)

GUID der Analytics Engine Dienstinstanz zum Abrufen der Protokollkonfiguration. Wenn sie angegeben wird, überschreibt sie die Zielinstanz-ID, falls diese festgelegt wurde. Erforderlich, wenn die Zielinstanz nicht gesetzt wurde.

Der Wert muss dem regulären Ausdruck „ /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ “ entsprechen.

Beispiele

ibmcloud analytics-engine-v3 log-config show --output json

ibmcloud analytics-engine-v3 log-config show \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Beispielausgabe

Die Ausgabe ist wie folgt:

{
  "components" : [ "spark-driver", "spark-executor" ],
  "log_server" : {
    "type" : "ibm-log-analysis"
  },
  "enable" : true
}

Schemabeispiele

Das folgende Schema-Beispiel zeigt die Daten, die zur Angabe der Befehlsoption erforderlich sind. Diese Beispiele veranschaulichen die Datenstruktur und enthalten Platzhalterwerte für den erwarteten Werttyp. Wenn Sie einen Befehl ausführen, ersetzen Sie diese Werte durch die Werte, die für Ihre Umgebung gelten.

Laufzeit

Das folgende Beispiel veranschaulicht das Format des Runtime-Objekts.

{
  "spark_version" : "3.3"
}