IBM Analytics Engine Plug-in CLI per istanze serverless

La CLI IBM Analytics Engine v3 fornisce opzioni da riga di comando per interagire con le istanze Standard Serverless Spark. È possibile gestire le istanze e le applicazioni Spark con la CLI. Per ulteriori informazioni sulle istanze serverless Analytics Engine, vedere Architettura e concetti delle istanze serverless.

Per eseguire i comandi CLI di IBM Analytics Engine v3, utilizzare ibmcloud analytics-engine-v3 o ibmcloud ae-v3.

Prerequisiti

Scaricare e installare il programma IBM Cloud CLI sul sistema locale. Vedere IBM Cloud CLI per installare la CLI.

Installare la CLI di IBM Analytics Engine v3

Installare la CLI di IBM Analytics Engine v3 eseguendo il seguente comando:

ibmcloud plugin install analytics-engine-v3

Il seguente comando help CLI mostra che la CLI v3 supporta i comandi CLI per:

Impostazione di un'istanza di destinazione
Gestione dell'istanza
Gestione delle applicazioni Spark
Configurazione dell'inoltro dei log
Gestione del server storico di Spark

$ ibmcloud ae-v3 --help

NAME:
  analytics-engine-v3 - Manage serverless Spark instances and run applications.

USAGE:
  ibmcloud analytics-engine-v3 [command] [options]

ALIASES:
  analytics-engine-v3, ae-v3

COMMANDS:
  history-server          Commands for HistoryServer resource.
  instance                Commands for Instance resource.
  log-forwarding-config   Commands for LogForwardingConfig resource.
  spark-app               Commands for SparkApp resource.
  target                  All commands run after setting a target will be run on the target instance

OPTIONS:
  -h, --help                Show help
  -j, --jmes-query string   Provide a JMESPath query to customize output.
      --output string       Choose an output format - can be 'json', 'yaml', or 'table'. (default "table")
  -q, --quiet               Suppresses verbose messages.
  -v, --version             version for analytics-engine-v3

Use "ibmcloud analytics-engine-v3 service-command --help" for more information about a command.

Impostare un'istanza di destinazione

Il comando seguente consente di impostare un'istanza di destinazione rispetto alla quale vengono eseguiti tutti i comandi CLI successivi.

Nota: Se l'ID dell'istanza viene passato esplicitamente in qualsiasi comando della CLI di v3, esso sovrascriverà l'ID dell'istanza impostato come target.

ibmcloud analytics-engine-v3 target [--instance-id INSTANCE-ID] [--unset-instance]

Opzioni comando

-i, --instance-id: L'identificatore dell'istanza Analytics Engine di destinazione. Tutti i comandi successivi vengono eseguiti contro l'istanza di destinazione.
--unset-instance: Revocare l'impostazione dell'istanza di destinazione

Esempi

L'esempio seguente mostra come impostare un'istanza di destinazione:

$ ibmcloud ae-v3 target --instance-id d2189b-b729-61f-adc0-987001da52e3
...

Target instance d0f582f7-cbf4-4c64-bf7f-72efd21c9f32
Subsequent commands will be run against the target instance

L'esempio seguente mostra come revocare un'istanza di destinazione:

$ ibmcloud ae-v3 target --unset-instance
...

Target instance d0f582f7-cbf4-4c64-bf7f-72efd21c9f32 revoked
No target instance is set

Comandi di gestione delle istanze

Utilizzare questo comando per la gestione delle istanze.

ibmcloud analytics-engine-v3 instance --help

`ibmcloud analytics-engine-v3 instance show`

Recupera i dettagli di una singola istanza di Analytics Engine.

ibmcloud analytics-engine-v3 instance show [--id ID]

Opzioni comando

-i, --id (stringa)

GUID dell'istanza del servizio Analytics Engine da recuperare. Se specificato, sostituisce l'ID dell'istanza di destinazione, se è stato impostato. Richiesto se l'istanza di destinazione non è stata impostata.

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Esempi

L'esempio seguente mostra come utilizzare il comando show senza un ID di istanza. L'operazione richiesta viene eseguita sull'istanza di destinazione.

ibmcloud analytics-engine-v3 instance show --output json

L'esempio seguente mostra come utilizzare il comando show con un ID istanza che sovrascrive l'ID istanza di destinazione, se definito:

ibmcloud analytics-engine-v3 instance show \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Output di esempio

Il risultato è il seguente:

{
  "id" : "dc0e9889-eab2-4t9e-9441-566209499546",
  "state" : "active",
  "state_change_time" : "2021-04-21T04:24:01Z",
  "default_runtime" : {
    "spark_version" : "3.3"
  },
  "instance_home" : {
    "guid" : "30d5c4a7-9fb7-4712-9039-a79417dec87b",
    "provider" : "ibm-cos",
    "type" : "objectstore",
    "region" : "us-south",
    "endpoint" : "s3.direct.us-south.cloud-object-storage.appdomain.cloud",
    "bucket" : "ae-bucket-do-not-delete-dc0e9889-eab2-4t9e-9441-566209499546",
    "hmac_access_key" : "eH****g=",
    "hmac_secret_key" : "4d********76"
  },
  "default_config" : {
    "spark.driver.memory" : "4g",
    "spark.driver.cores" : 1
  }
}

`ibmcloud analytics-engine-v3 instance state`

Recupera lo stato di una singola istanza di Analytics Engine.

ibmcloud analytics-engine-v3 instance state [--id ID]

Opzioni comando

-i, --id (stringa)

GUID dell'istanza del servizio Analytics Engine per recuperare lo stato. Se specificato, sostituisce l'ID dell'istanza di destinazione, se è stato impostato. Richiesto, se l'istanza di destinazione non è stata impostata.

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Esempi

ibmcloud analytics-engine-v3 instance state --output json

ibmcloud analytics-engine-v3 instance state \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Output di esempio

{
  "id" : "dc0e9889-eab2-4t9e-9441-566209499546",
  "state" : "active"
}

`ibmcloud analytics-engine-v3 instance home-set`

Fornire i dettagli dell'istanza Cloud Object Storage da associare all'istanza Analytics Engine e da usare come "istanza home", se "instance home" non è già stata impostata.

Nota: È possibile impostare nuovamente la 'home dell'istanza' se l'istanza si trova nello stato 'instance_home_creation_failure'.

ibmcloud analytics-engine-v3 instance home-set [--id ID] [--instance-home-id INSTANCE-HOME-ID] [--endpoint ENDPOINT] [--hmac-access-key HMAC-ACCESS-KEY] [--hmac-secret-key HMAC-SECRET-KEY]

Opzioni comando

-i, --id (stringa)

L'ID dell'istanza di Analytics Engine per la quale deve essere impostato "instance home". Se specificato, sostituisce l'ID dell'istanza di destinazione, se è stato impostato. Richiesto, se l'istanza di destinazione non è stata impostata.

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--instance-home-id (stringa)

UUID dell'istanza di archiviazione domestica.

--endpoint (stringa)

Endpoint per accedere all'istanza di Cloud Object Storage.

Il valore predefinito è s3.direct.us-south.cloud-object-storage.appdomain.cloud.

--hmac-access-key (stringa)

Cloud Object Storage tasto di accesso. Obbligatorio.

--hmac-secret-key (stringa)

Cloud Object Storage chiave segreta. Obbligatorio.

Esempi

ibmcloud analytics-engine-v3 instance home-set \
    --hmac-access-key=821**********0ae \
    --hmac-secret-key=03e****************4fc3 \
    --output json

ibmcloud analytics-engine-v3 instance home-set \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --instance-home-id=701549e6-ab7e-43f2-8b7e-742698c53db8 \
    --hmac-access-key=821**********0ae \
    --hmac-secret-key=03e****************4fc3 \
    --output json

Output di esempio

Il risultato è il seguente:

{
  "instance_id" : "701549e6-ab7e-43f2-8b7e-742698c53db8",
  "region" : "us-south",
  "endpoint" : "https://s3.direct.us-south.cloud-object-storage.appdomain.cloud",
  "hmac_access_key" : "b9**********4b",
  "hmac_secret_key" : "fa******************8a"
}

`ibmcloud analytics-engine-v3 instance default-configs`

Ottenere le proprietà di configurazione predefinite di Spark che saranno applicate a tutte le applicazioni dell'istanza.

ibmcloud analytics-engine-v3 instance default-configs [--id ID]

Opzioni comando

-i, --id (stringa)

L'ID dell'istanza di Analytics Engine. Se specificato, sostituisce l'ID dell'istanza di destinazione, se è stato impostato. Richiesto, se l'istanza di destinazione non è stata impostata.

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Esempi

ibmcloud analytics-engine-v3 instance default-configs --output json

ibmcloud analytics-engine-v3 instance default-configs \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Output di esempio

Il risultato è il seguente:

{
  "spark.driver.memory" : "4G",
  "spark.driver.cores" : "1"
}

`ibmcloud analytics-engine-v3 instance default-configs-replace`

Sostituire le proprietà di configurazione predefinite di Spark che saranno applicate a tutte le applicazioni dell'istanza.

ibmcloud analytics-engine-v3 instance default-configs-replace [--id ID] --body BODY

Opzioni comando

-i, --id (stringa)

L'ID dell'istanza di Analytics Engine. Se specificato, sostituisce l'ID dell'istanza di destinazione, se è stato impostato. Richiesto, se l'istanza di destinazione non è stata impostata.

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--body ( [mapstringstring] )

Proprietà di configurazione di Spark per sostituire le configurazioni predefinite dell'istanza esistente di Spark. Obbligatorio.

Esempi

ibmcloud analytics-engine-v3 instance default-configs-replace \
    --body='{"spark.driver.memory" : "8G", "spark.driver.cores" : "2"}' \
    --output json

ibmcloud analytics-engine-v3 instance default-configs-replace \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --body='{"spark.driver.memory" : "8G", "spark.driver.cores" : "2"}' \
    --output json

Output di esempio

Il risultato è il seguente:

{
  "spark.driver.memory" : "8G",
  "spark.driver.cores" : "2"
}

`ibmcloud analytics-engine-v3 instance default-configs-update`

Aggiornare le proprietà di configurazione predefinite di Spark che saranno applicate a tutte le applicazioni dell'istanza.

ibmcloud analytics-engine-v3 instance default-configs-update [--id ID] --body BODY

Opzioni comando

-i, --id (stringa)

L'ID dell'istanza di Analytics Engine. Se specificato, sostituisce l'ID dell'istanza di destinazione, se è stato impostato. Richiesto, se l'istanza di destinazione non è stata impostata.

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--body (mappa generica)

Proprietà di configurazione di Spark da aggiornare. Le proprietà verranno unite alle proprietà di configurazione esistenti. Impostare il valore di una proprietà su null per poterla disattivare. Obbligatorio.

Esempi

ibmcloud analytics-engine-v3 instance default-configs-update \
    --body='{"ae.spark.history-server.cores" : "1", "ae.spark.history-server.memory" : "4G"}' \
    --output json

ibmcloud analytics-engine-v3 instance default-configs-update \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --body='{"ae.spark.history-server.cores" : "1", "ae.spark.history-server.memory" : "4G"}' \
    --output json

Output di esempio

Il risultato è il seguente:

{
  "ae.spark.history-server.cores" : "1",
  "ae.spark.history-server.memory" : "4G",
  "spark.driver.memory" : "8G",
  "spark.driver.cores" : "2"
}

`ibmcloud analytics-engine-v3 instance default-runtime`

Ottiene l'ambiente di runtime predefinito su cui verranno eseguiti tutti i carichi di lavoro dell'istanza.

ibmcloud analytics-engine-v3 instance default-runtime [--id ID]

Opzioni comando

-i, --id (stringa)

L'ID dell'istanza di Analytics Engine. Se specificato, sostituisce l'ID dell'istanza di destinazione, se è stato impostato.

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Esempi

ibmcloud analytics-engine-v3 instance default-runtime --output json

ibmcloud analytics-engine-v3 instance default-runtime \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Output di esempio

Il risultato è il seguente:

{
  "spark_version" : "3.3"
}

`ibmcloud analytics-engine-v3 instance default-runtime-replace`

Sostituisce l'ambiente di runtime predefinito su cui verranno eseguiti tutti i carichi di lavoro dell'istanza.

ibmcloud analytics-engine-v3 instance default-runtime-replace [--id ID] --runtime-spark-version RUNTIME-SPARK-VERSION

Opzioni comando

-i, --id (stringa)

L'ID dell'istanza di Analytics Engine. Se specificato, sostituisce l'ID dell'istanza di destinazione, se è stato impostato. Richiesto, se l'istanza di destinazione non è stata impostata.

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--runtime-spark-version (stringa)

Versione Spark dell'ambiente di runtime. Obbligatorio.

I valori ammessi sono: 3.1, 3.3, 3.4.

Esempi

ibmcloud analytics-engine-v3 instance default-runtime-replace \
    --runtime-spark-version=3.3 \
    --output json

ibmcloud analytics-engine-v3 instance default-runtime-replace \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --runtime-spark-version=3.3 \
    --output json

Output di esempio

Il risultato è il seguente:

{
  "spark_version" : "3.3"
}

`ibmcloud analytics-engine-v3 instance current-resource-consumption`

Fornisce la memoria totale e i core del processore virtuale allocati a tutte le applicazioni in esecuzione nell'istanza del servizio in questo momento. Quando sono in esecuzione applicazioni a scalabilità automatica, le risorse assegnate cambiano nel tempo, in base alle richieste delle applicazioni.

Nota: Il consumo non è un'indicazione del consumo effettivo di risorse da parte dei processi Spark. È la somma delle risorse assegnate alle applicazioni attualmente in esecuzione al momento della presentazione della domanda.

ibmcloud analytics-engine-v3 instance current-resource-consumption [--id ID]

Opzioni comando

-i, --id (stringa)

ID dell'istanza di Analytics Engine. Se specificato, sostituisce l'ID dell'istanza di destinazione, se è stato impostato. Richiesto, se l'istanza di destinazione non è stata impostata.

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Esempi

ibmcloud analytics-engine-v3 instance current-resource-consumption --output json

ibmcloud analytics-engine-v3 instance current-resource-consumption \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Output di esempio

Il risultato è il seguente:

{
  "cores" : "2",
  "memory" : "8G"
}

`ibmcloud analytics-engine-v3 instance resource-consumption-limits`

Restituisce la memoria totale massima e i core del processore virtuale allocati tra tutte le applicazioni in esecuzione nell'istanza del servizio in qualsiasi momento.

ibmcloud analytics-engine-v3 instance resource-consumption-limits [--id ID]

Opzioni comando

-i, --id (stringa)

ID dell'istanza di Analytics Engine. Se specificato, sostituisce l'ID dell'istanza di destinazione, se è stato impostato. Richiesto, se l'istanza di destinazione non è stata impostata.

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Esempi

ibmcloud analytics-engine-v3 instance resource-consumption-limits --output json

ibmcloud analytics-engine-v3 instance resource-consumption-limits \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Output di esempio

Il risultato è il seguente:

{
  "max_cores" : "150",
  "max_memory" : "600G"
}

Comandi dell'applicazione Spark

Con i comandi CLI dell'applicazione Spark, è possibile eseguire le seguenti operazioni:

Presentare una domanda Spark
Elenco di tutte le domande presentate
Recuperare i dettagli di un'applicazione Spark
Mostrare lo stato di una domanda presentata
Interrompere un'applicazione Spark presentata

ibmcloud analytics-engine-v3 spark-app --help

`ibmcloud analytics-engine-v3 spark-app submit`

Distribuisce un'applicazione Spark su una determinata istanza Spark serverless.

ibmcloud analytics-engine-v3 spark-app submit [--instance-id INSTANCE-ID] [--app APP] [--runtime RUNTIME] [--jars JARS] [--packages PACKAGES] [--repositories REPOSITORIES] [--files FILES] [--archives ARCHIVES] [--name NAME] [--class CLASS] [--arg ARG] [--conf CONF] [--env ENV]

Opzioni comando

-i, --instance-id (stringa)

L'identificatore dell'istanza di Analytics Engine associata alle applicazioni Spark. Se specificato, sostituisce l'ID dell'istanza di destinazione, se è stato impostato. Richiesto, se l'istanza di destinazione non è stata impostata.

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--app (stringa)

Percorso dell'applicazione da eseguire. Obbligatorio.

--runtime (Runtime)

Ambiente di runtime per applicazioni e altri carichi di lavoro.

--jars (stringa)

Percorso dei file jar contenenti l'applicazione.

--packages (stringa)

Nomi dei pacchetti.

--repositories (stringa)

Nomi dei repository.

--files (stringa)

Nomi dei file.

--archives (stringa)

Nomi dell'archivio.

--name (stringa)

Il nome dell'applicazione.

--class (stringa)

Punto di ingresso per un'applicazione Spark in bundle come file '.jar'. Questo vale solo per le applicazioni Java o Scala.

Il valore deve corrispondere all'espressione regolare /([\\p{L}_$][\\p{L}\\p{N}_$]*\\.)*[\\p{L}_$][\\p{L}\\p{N}_$]*/.

--arg (stringa "[]")

Un array di argomenti da passare all'applicazione.

--conf (mappa generica)

Configurazioni dell'applicazione per sovrascrivere il valore specificato a livello di istanza. Per un elenco delle variabili supportate, vedere Variabili d'ambiente di Spark.

--env (mappa generica)

Configurazioni dell'ambiente applicativo da utilizzare. Per un elenco delle variabili supportate, vedere Variabili d'ambiente di Spark.

Esempi

ibmcloud analytics-engine-v3 spark-app submit \
    --arg "/opt/ibm/spark/examples/src/main/resources/people.txt" \
    --app "/opt/ibm/spark/examples/src/main/python/wordcount.py" \
    --runtime='{"spark_version": "3.3"}' \
    --output json

ibmcloud analytics-engine-v3 spark-app submit \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --arg "/opt/ibm/spark/examples/src/main/resources/people.txt" \
    --app "/opt/ibm/spark/examples/src/main/python/wordcount.py" \
    --runtime='{"spark_version": "3.3"}' \
    --output json

Output di esempio

Il risultato è il seguente:

{
  "id" : "87e63712-a823-4aa1-9f6e-7291d4e5a113",
  "state" : "accepted"
}

`ibmcloud analytics-engine-v3 spark-app list`

Restituisce un elenco di tutte le applicazioni Spark inviate all'istanza Analytics Engine specificata. Il risultato può essere filtrato specificando i parametri della query. Il numero di applicazioni restituite può essere limitato specificando il parametro della query limit. Usare start insieme a limit per ottenere la pagina successiva o precedente dei risultati.

ibmcloud analytics-engine-v3 spark-app list [--instance-id INSTANCE-ID] [--state STATE] [--limit LIMIT] [--start START]

Opzioni comando

-i, --instance-id (stringa)

L'identificatore dell'istanza di Analytics Engine associata alle applicazioni Spark. Obbligatorio.

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--state (stringa "[]")

Elenco degli stati dell'applicazione Spark che verranno utilizzati per filtrare la risposta.

Le voci di elenco consentite sono: finished, running, failed, accepted, stopped, auto_terminated, ops_terminated.

--limit (int64)

Numero di voci della domanda da includere nella risposta.

Il valore massimo è 1000. Il valore minimo è 1.

--start (stringa)

Token utilizzato per recuperare la pagina successiva o precedente dell'elenco delle applicazioni.

--all-pages (bool)

Esegui più richieste per visualizzare tutte le pagine della raccolta relativa a spark-app-list.

Esempi

ibmcloud analytics-engine-v3 spark-app list \
    --state=finished \
    --limit=25

ibmcloud analytics-engine-v3 spark-app list \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --state=finished \
    --limit=25

Output di esempio

Il risultato è il seguente:

{
  "applications" : [ {
    "id" : "db933645-0b68-4dcb-80d8-7b71a6c8e542",
    "spark_application_id" : "app-20211009103247-0000",
    "spark_application_name" : "PythonWordCount",
    "state" : "finished",
    "submission_time" : "2021-04-21T04:23:50Z",
    "start_time" : "2021-04-21T04:24:01Z",
    "end_time" : "2021-04-21T04:25:18Z",
    "finish_time" : "2021-04-21T04:25:18Z",
    "auto_termination_time" : "2021-04-24T04:24:01Z"
  }, {
    "id" : "a2a2b23f-0929-4c49-9cc0-bd4c2bf953d9",
    "spark_application_id" : "app-20211009103147-0000",
    "spark_application_name" : "PythonWordCount",
    "state" : "finished",
    "submission_time" : "2021-04-21T04:21:50Z",
    "start_time" : "2021-04-21T04:22:01Z",
    "end_time" : "2021-04-21T04:23:18Z",
    "finish_time" : "2021-04-21T04:23:18Z",
    "auto_termination_time" : "2021-04-24T04:22:01Z"
  } ],
  "first" : {
    "href" : "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/e64c907a-e82f-46fd-addc-ccfafbd28b09/spark_applications?limit=25"
  },
  "next" : {
    "href" : "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/e64c907a-e82f-46fd-addc-ccfafbd28b09/spark_applications?limit=25&start=QiwyMDIyLTA5LTI2IDA4OjE4OjU2LjE4MiwxMDAyYTVlZC0xZWU4LTQwZWItOWUyNC00OTMyNTcxZjgzYzE",
    "start" : "QiwyMDIyLTA5LTI2IDA4OjE4OjU2LjE4MiwxMDAyYTVlZC0xZWU4LTQwZWItOWUyNC00OTMyNTcxZjgzYzE"
  },
  "limit": 25
}

`ibmcloud analytics-engine-v3 spark-app show`

Ottiene i dettagli di una determinata applicazione Spark.

ibmcloud analytics-engine-v3 spark-app show [--instance-id INSTANCE-ID] --app-id APP-ID

Opzioni comando

-i, --instance-id (stringa)

Identificatore dell'istanza a cui appartiene l'applicazione. Se specificato, sostituisce l'ID dell'istanza di destinazione, se è stato impostato. Richiesto, se l'istanza di destinazione non è stata impostata.

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--app-id (stringa)

Identificatore dell'applicazione per la quale sono richiesti i dettagli. Obbligatorio.

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Esempi

ibmcloud analytics-engine-v3 spark-app show \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
    --output json

ibmcloud analytics-engine-v3 spark-app show \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
    --output json

Output di esempio

Il risultato è il seguente:

{
  "application_details" : {
    "application" : "/opt/ibm/spark/examples/src/main/python/wordcount.py",
    "arguments" : [ "/opt/ibm/spark/examples/src/main/resources/people.txt" ],
    "runtime": {
      "spark_version": "3.3"
    }
  },
  "id" : "a9a6f328-56d8-4923-8042-97652fff2af3",
  "spark_application_id" : "app-20210908112356-0000",
  "spark_application_name" : "PythonWordCount",
  "state" : "finished",
  "submission_time" : "2021-04-21T04:23:55Z",
  "start_time" : "2021-04-21T04:24:01Z",
  "end_time" : "2021-04-21T04:28:15Z",
  "finish_time" : "2021-04-21T04:28:15Z",
  "auto_termination_time" : "2021-04-24T04:24:01Z"
}

`ibmcloud analytics-engine-v3 spark-app stop`

Arresta un'applicazione in esecuzione identificata dall'identificatore app_id. Si tratta di un'operazione idempotente. Non esegue alcuna azione se l'applicazione richiesta è già stata interrotta o completata.

ibmcloud analytics-engine-v3 spark-app stop [--instance-id INSTANCE-ID] --app-id APP-ID

Opzioni comando

-i, --instance-id (stringa)

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--app-id (stringa)

Identificatore dell'applicazione che deve essere arrestata. Obbligatorio.

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Esempi

ibmcloud analytics-engine-v3 spark-app stop \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b

ibmcloud analytics-engine-v3 spark-app stop \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b

`ibmcloud analytics-engine-v3 spark-app status`

Restituisce lo stato dell'applicazione Spark indicata.

ibmcloud analytics-engine-v3 spark-app status [--instance-id INSTANCE-ID] --app-id APP-ID

Opzioni comando

-i, --instance-id (stringa)

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--app-id (stringa)

Identificatore dell'applicazione per la quale sono richiesti i dettagli. Obbligatorio.

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Esempi

ibmcloud analytics-engine-v3 spark-app status \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
    --output json

ibmcloud analytics-engine-v3 spark-app status \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
    --output json

Output di esempio

Il risultato è il seguente:

{
  "id" : "9da32aaf-df69-4e61-bdb8-1b2772c0f677",
  "state" : "finished",
  "start_time" : "2021-04-21T04:24:01Z",
  "end_time" : "2021-04-21T04:28:15Z",
  "finish_time" : "2021-04-21T04:28:15Z",
  "auto_termination_time" : "2021-04-24T04:24:01Z"
}

Configurazione dell'inoltro dei log

Usare questo comando per abilitare o disabilitare l'inoltro dei log da un'istanza serverless a un servizio IBM Log Analysis e per visualizzare lo stato della configurazione dell'inoltro dei log.

ibmcloud analytics-engine-v3 log-forwarding-config --help

`ibmcloud analytics-engine-v3 log-forwarding-config replace`

Modificare la configurazione per l'inoltro dei log dall'istanza Analytics Engine al server IBM Log Analysis. Utilizzare questo endpoint per attivare o disattivare l'inoltro dei registri.

ibmcloud analytics-engine-v3 log-forwarding-config replace [--instance-id INSTANCE-ID] --enabled ENABLED [--sources SOURCES] [--tags TAGS]

Opzioni comando

-i, --instance-id (stringa)

ID dell'istanza di Analytics Engine. Se specificato, sostituisce l'ID dell'istanza di destinazione, se è stato impostato. Richiesto, se l'istanza di destinazione non è stata impostata.

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--enabled (bool)

Abilita o disabilita l'inoltro dei log. Obbligatorio.

--sources (stringa "[]")

Elenco delle fonti dei registri che verranno inoltrati. Per impostazione predefinita, vengono inoltrati solo i registri "spark-driver".

--tags (stringa "[]")

Elenco dei tag da applicare ai registri da inoltrare. Possono essere usati per filtrare i registri nel server IBM Log Analysis.

Esempi

ibmcloud analytics-engine-v3 log-forwarding-config replace \
    --enabled=true \
    --sources=spark-driver,spark-executor \
    --tags=<tag_1>,<tag_2>,<tag_n> \
    --output json

ibmcloud analytics-engine-v3 log-forwarding-config replace \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --enabled=true \
    --sources=spark-driver,spark-executor \
    --tags=<tag_1>,<tag_2>,<tag_n> \
    --output json

Output di esempio

Il risultato è il seguente:

{
  "sources" : [ "spark-driver", "spark-executor" ],
  "log_server" : {
    "type" : "ibm-log-analysis"
  },
  "enabled" : true
}

`ibmcloud analytics-engine-v3 log-forwarding-config show`

Recupera la configurazione dell'inoltro dei registri dell'istanza Analytics Engine.

ibmcloud analytics-engine-v3 log-forwarding-config show [--instance-id INSTANCE-ID]

Opzioni comando

-i, --instance-id (stringa)

ID dell'istanza di Analytics Engine. Se specificato, sostituisce l'ID dell'istanza di destinazione, se è stato impostato. Richiesto, se l'istanza di destinazione non è stata impostata.

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Esempi

ibmcloud analytics-engine-v3 log-forwarding-config show --output json

ibmcloud analytics-engine-v3 log-forwarding-config show \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Output di esempio

Il risultato è il seguente:

{
  "sources" : [ "spark-driver", "spark-executor" ],
  "log_server" : {
    "type" : "ibm-log-analysis"
  },
  "enabled" : true
}

Server cronologico Spark

Usate questi comandi per avviare o arrestare il server della cronologia di Spark della vostra istanza.

ibmcloud analytics-engine-v3 history-server --help

`ibmcloud analytics-engine-v3 history-server start`

Avvia il server della cronologia di Spark per l'istanza Analytics Engine indicata.

ibmcloud analytics-engine-v3 history-server start [--instance-id INSTANCE-ID]

Opzioni comando

-i, --instance-id (stringa)

L'ID dell'istanza di Analytics Engine a cui appartiene il server storico di Spark. Se specificato, sostituisce l'ID dell'istanza di destinazione, se è stato impostato. Richiesto, se l'istanza di destinazione non è stata impostata.

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Esempi

ibmcloud analytics-engine-v3 history-server start --output json

ibmcloud analytics-engine-v3 history-server start \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Output di esempio

Il risultato è il seguente:

{
  "state" : "started",
  "cores" : "1",
  "memory" : "4G",
  "start_time" : "2022-02-21T07:37:47Z",
  "auto_termination_time" : "2022-02-24T07:37:47Z"
}

`ibmcloud analytics-engine-v3 history-server show`

Ottiene i dettagli del server di cronologia di Spark dell'istanza Analytics Engine data.

ibmcloud analytics-engine-v3 history-server show [--instance-id INSTANCE-ID]

Opzioni comando

-i, --instance-id (stringa)

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Esempi

ibmcloud analytics-engine-v3 history-server show --output json

ibmcloud analytics-engine-v3 history-server show \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Output di esempio

Il risultato è il seguente:

{
  "state" : "started",
  "cores" : "1",
  "memory" : "4G",
  "start_time" : "2022-02-21T07:37:47Z",
  "auto_termination_time" : "2022-02-24T07:37:47Z"
}

`ibmcloud analytics-engine-v3 history-server stop`

Arresta il server della cronologia di Spark dell'istanza Analytics Engine indicata.

ibmcloud analytics-engine-v3 history-server stop [--instance-id INSTANCE-ID]

Opzioni comando

-i, --instance-id (stringa)

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Esempi

ibmcloud analytics-engine-v3 history-server stop --output json

ibmcloud analytics-engine-v3 history-server stop \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Configurazione log

Nota: deprecato. Utilizzare invece i comandi equivalenti del gruppo di comandi log-forwarding-config.

ibmcloud analytics-engine-v3 log-config --help

`ibmcloud analytics-engine-v3 log-config update`

Abilita o disabilita l'inoltro dei registri dal server IBM Analytics Engine al server IBM Log Analysis.

Nota: deprecato. Utilizzare invece replace dal gruppo di comandi log-forwarding-config.

ibmcloud analytics-engine-v3 log-config update [--instance-id INSTANCE-ID] [--enable ENABLE]

Opzioni comando

-i, --instance-id (stringa)

GUID dei dettagli dell'istanza per la quale deve essere configurato l'inoltro dei registri. Se specificato, sostituisce l'ID dell'istanza di destinazione, se è stato impostato. Richiesto, se l'istanza di destinazione non è stata impostata.

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--enable (bool)

Abilita o disabilita l'inoltro dei log. Obbligatorio.

Esempi

ibmcloud analytics-engine-v3 log-config update \
    --enable=true \
    --output json

ibmcloud analytics-engine-v3 log-config update \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --enable=true \
    --output json

Output di esempio

Il risultato è il seguente:

{
  "components" : [ "spark-driver", "spark-executor" ],
  "log_server" : {
    "type" : "ibm-log-analysis"
  },
  "enable" : true
}

`ibmcloud analytics-engine-v3 log-config show`

Recupera la configurazione del logging di una determinata istanza di Analytics Engine.

Nota: deprecato. Utilizzare invece show dal gruppo di comandi log-forwarding-config.

ibmcloud analytics-engine-v3 log-config show [--instance-id INSTANCE-ID]

Opzioni comando

-i, --instance-id (stringa)

GUID dell'istanza del servizio Analytics Engine per recuperare la configurazione del registro. Se specificato, sostituisce l'ID dell'istanza di destinazione, se è stato impostato. Richiesto, se l'istanza di destinazione non è stata impostata.

Il valore deve corrispondere all'espressione regolare /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Esempi

ibmcloud analytics-engine-v3 log-config show --output json

ibmcloud analytics-engine-v3 log-config show \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Output di esempio

Il risultato è il seguente:

{
  "components" : [ "spark-driver", "spark-executor" ],
  "log_server" : {
    "type" : "ibm-log-analysis"
  },
  "enable" : true
}

Esempi di schemi

Il seguente esempio di schema rappresenta i dati necessari per specificare l'opzione di comando. Questi esempi modellano la struttura dei dati e includono valori segnaposto per il tipo di valore atteso. Quando si esegue un comando, sostituire questi valori con quelli che si applicano al proprio ambiente, a seconda dei casi.

Runtime

L'esempio seguente illustra il formato dell'oggetto Runtime.

{
  "spark_version" : "3.3"
}