Module d'extension d'interface de ligne de commande IBM Analytics Engine pour les instances sans serveur

L'interface de ligne de commande IBM Analytics Engine v3 fournit des options de ligne de commande pour interagir avec les Standard Serverless Sparkinstances. Vous pouvez gérer les instances et les applications Spark avec l'interface de ligne de commande. Pour plus d'informations sur les instances Analytics Engine sans serveur, voir Architecture et concepts dans les instances sans serveur.

Pour exécuter des commandes IBM Analytics Engine v3 CLI, utilisez ibmcloud analytics-engine-v3 ou ibmcloud ae-v3.

Prérequis

Téléchargez et installez l'interface de ligne de commande IBM Cloud sur votre système local. Voir l'interface de ligne de commandeIBM Cloud pour installer l'interface de ligne de commande.

Installation de l'interface de ligne de commande IBM Analytics Engine v3

Installez l'interface de ligne de commande IBM Analytics Engine v3 en exécutant la commande suivante :

ibmcloud plugin install analytics-engine-v3

La commande CLI d'aide suivante montre que l'interface de ligne de commande v3 prend en charge les commandes CLI pour :

Définition d'une instance cible
Gestion d'instances
Gestion de l'application Spark
Configuration de la redirection des journaux
Gestion du serveur historique Spark

$ ibmcloud ae-v3 --help

NAME:
  analytics-engine-v3 - Manage serverless Spark instances and run applications.

USAGE:
  ibmcloud analytics-engine-v3 [command] [options]

ALIASES:
  analytics-engine-v3, ae-v3

COMMANDS:
  history-server          Commands for HistoryServer resource.
  instance                Commands for Instance resource.
  log-forwarding-config   Commands for LogForwardingConfig resource.
  spark-app               Commands for SparkApp resource.
  target                  All commands run after setting a target will be run on the target instance

OPTIONS:
  -h, --help                Show help
  -j, --jmes-query string   Provide a JMESPath query to customize output.
      --output string       Choose an output format - can be 'json', 'yaml', or 'table'. (default "table")
  -q, --quiet               Suppresses verbose messages.
  -v, --version             version for analytics-engine-v3

Use "ibmcloud analytics-engine-v3 service-command --help" for more information about a command.

Définition d'une instance cible

La commande suivante vous permet de définir une instance cible sur laquelle seront exécutées toutes les commandes CLI suivantes.

Remarque : si l'ID d'instance est spécifié explicitement dans une commande de l'interface CLI d' v3, il prévaudra sur l'ID d'instance défini comme cible.

ibmcloud analytics-engine-v3 target [--instance-id INSTANCE-ID] [--unset-instance]

Options de commande

-i, --instance-id: L'identifiant de l'instance Analytics Engine cible. Toutes les commandes suivantes sont exécutées sur l'instance cible.
--unset-instance: Révoquer le paramètre d'instance cible

Exemples

L'exemple suivant montre comment définir une instance cible :

$ ibmcloud ae-v3 target --instance-id d2189b-b729-61f-adc0-987001da52e3
...

Target instance d0f582f7-cbf4-4c64-bf7f-72efd21c9f32
Subsequent commands will be run against the target instance

L'exemple suivant montre comment révoquer une instance cible:

$ ibmcloud ae-v3 target --unset-instance
...

Target instance d0f582f7-cbf4-4c64-bf7f-72efd21c9f32 revoked
No target instance is set

Commandes de gestion d'instance

Utilisez cette commande pour la gestion des instances.

ibmcloud analytics-engine-v3 instance --help

`ibmcloud analytics-engine-v3 instance show`

Récupérer les détails d'une instance unique d' Analytics Engine.

ibmcloud analytics-engine-v3 instance show [--id ID]

Options de commande

-i, --id (chaîne)

GUID de l'instance de service Analytics Engine à récupérer. Lorsqu'il est spécifié, il remplace l'identifiant de l'instance cible s'il a été défini. Requis si l'instance cible n'a pas été définie.

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemples

L'exemple suivant montre comment utiliser la commande show sans ID d'instance. L'opération demandée est effectuée sur l'instance cible.

ibmcloud analytics-engine-v3 instance show --output json

L'exemple suivant montre comment utiliser la commande show avec un ID d'instance qui remplace l'ID d'instance cible s'il est défini :

ibmcloud analytics-engine-v3 instance show \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Exemple de sortie

La sortie se présente comme suit :

{
  "id" : "dc0e9889-eab2-4t9e-9441-566209499546",
  "state" : "active",
  "state_change_time" : "2021-04-21T04:24:01Z",
  "default_runtime" : {
    "spark_version" : "3.3"
  },
  "instance_home" : {
    "guid" : "30d5c4a7-9fb7-4712-9039-a79417dec87b",
    "provider" : "ibm-cos",
    "type" : "objectstore",
    "region" : "us-south",
    "endpoint" : "s3.direct.us-south.cloud-object-storage.appdomain.cloud",
    "bucket" : "ae-bucket-do-not-delete-dc0e9889-eab2-4t9e-9441-566209499546",
    "hmac_access_key" : "eH****g=",
    "hmac_secret_key" : "4d********76"
  },
  "default_config" : {
    "spark.driver.memory" : "4g",
    "spark.driver.cores" : 1
  }
}

`ibmcloud analytics-engine-v3 instance state`

Récupérer l'état d'une instance unique de Analytics Engine.

ibmcloud analytics-engine-v3 instance state [--id ID]

Options de commande

-i, --id (chaîne)

GUID de l'instance de service Analytics Engine pour récupérer l'état. Lorsqu'il est spécifié, il remplace l'identifiant de l'instance cible s'il a été défini. Requis, si l'instance cible n'a pas été définie.

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemples

ibmcloud analytics-engine-v3 instance state --output json

ibmcloud analytics-engine-v3 instance state \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Exemple de sortie

{
  "id" : "dc0e9889-eab2-4t9e-9441-566209499546",
  "state" : "active"
}

`ibmcloud analytics-engine-v3 instance home-set`

Fournir les détails de l'instance Cloud Object Storage à associer à l'instance Analytics Engine et à utiliser comme "instance d'origine" si l'instance d'origine n'a pas encore été définie.

Note : Vous pouvez redéfinir 'instance home' si l'instance est dans l'état 'instance_home_creation_failure'.

ibmcloud analytics-engine-v3 instance home-set [--id ID] [--instance-home-id INSTANCE-HOME-ID] [--endpoint ENDPOINT] [--hmac-access-key HMAC-ACCESS-KEY] [--hmac-secret-key HMAC-SECRET-KEY]

Options de commande

-i, --id (chaîne)

L'ID de l'instance Analytics Engine pour laquelle "instance home" doit être définie. Lorsqu'il est spécifié, il remplace l'identifiant de l'instance cible s'il a été défini. Requis, si l'instance cible n'a pas été définie.

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--instance-home-id (chaîne)

UUID de l'instance de stockage domestique.

--endpoint (chaîne)

Point d'accès à l'instance Cloud Object Storage.

La valeur par défaut est s3.direct.us-south.cloud-object-storage.appdomain.cloud.

--hmac-access-key (chaîne)

Cloud Object Storage touche d'accès. Obligatoire.

--hmac-secret-key (chaîne)

Cloud Object Storage clé secrète. Obligatoire.

Exemples

ibmcloud analytics-engine-v3 instance home-set \
    --hmac-access-key=821**********0ae \
    --hmac-secret-key=03e****************4fc3 \
    --output json

ibmcloud analytics-engine-v3 instance home-set \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --instance-home-id=701549e6-ab7e-43f2-8b7e-742698c53db8 \
    --hmac-access-key=821**********0ae \
    --hmac-secret-key=03e****************4fc3 \
    --output json

Exemple de sortie

La sortie se présente comme suit :

{
  "instance_id" : "701549e6-ab7e-43f2-8b7e-742698c53db8",
  "region" : "us-south",
  "endpoint" : "https://s3.direct.us-south.cloud-object-storage.appdomain.cloud",
  "hmac_access_key" : "b9**********4b",
  "hmac_secret_key" : "fa******************8a"
}

`ibmcloud analytics-engine-v3 instance default-configs`

Obtenir les propriétés de configuration Spark par défaut qui seront appliquées à toutes les applications de l'instance.

ibmcloud analytics-engine-v3 instance default-configs [--id ID]

Options de commande

-i, --id (chaîne)

L'ID de l'instance Analytics Engine. Lorsqu'il est spécifié, il remplace l'identifiant de l'instance cible s'il a été défini. Requis, si l'instance cible n'a pas été définie.

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemples

ibmcloud analytics-engine-v3 instance default-configs --output json

ibmcloud analytics-engine-v3 instance default-configs \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Exemple de sortie

La sortie se présente comme suit :

{
  "spark.driver.memory" : "4G",
  "spark.driver.cores" : "1"
}

`ibmcloud analytics-engine-v3 instance default-configs-replace`

Remplacer les propriétés de configuration Spark par défaut qui seront appliquées à toutes les applications de l'instance.

ibmcloud analytics-engine-v3 instance default-configs-replace [--id ID] --body BODY

Options de commande

-i, --id (chaîne)

L'ID de l'instance Analytics Engine. Lorsqu'il est spécifié, il remplace l'identifiant de l'instance cible s'il a été défini. Requis, si l'instance cible n'a pas été définie.

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--body ( [chaîne de caractères] )

Propriétés de configuration Spark pour remplacer les configurations Spark par défaut des instances existantes. Obligatoire.

Exemples

ibmcloud analytics-engine-v3 instance default-configs-replace \
    --body='{"spark.driver.memory" : "8G", "spark.driver.cores" : "2"}' \
    --output json

ibmcloud analytics-engine-v3 instance default-configs-replace \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --body='{"spark.driver.memory" : "8G", "spark.driver.cores" : "2"}' \
    --output json

Exemple de sortie

La sortie se présente comme suit :

{
  "spark.driver.memory" : "8G",
  "spark.driver.cores" : "2"
}

`ibmcloud analytics-engine-v3 instance default-configs-update`

Mettre à jour les propriétés de configuration Spark par défaut qui seront appliquées à toutes les applications de l'instance.

ibmcloud analytics-engine-v3 instance default-configs-update [--id ID] --body BODY

Options de commande

-i, --id (chaîne)

L'ID de l'instance Analytics Engine. Lorsqu'il est spécifié, il remplace l'identifiant de l'instance cible s'il a été défini. Requis, si l'instance cible n'a pas été définie.

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--body (carte générique)

Propriétés de configuration de Spark à mettre à jour. Les propriétés seront fusionnées avec les propriétés de configuration existantes. Définir la valeur d'une propriété à null afin de la désactiver. Obligatoire.

Exemples

ibmcloud analytics-engine-v3 instance default-configs-update \
    --body='{"ae.spark.history-server.cores" : "1", "ae.spark.history-server.memory" : "4G"}' \
    --output json

ibmcloud analytics-engine-v3 instance default-configs-update \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --body='{"ae.spark.history-server.cores" : "1", "ae.spark.history-server.memory" : "4G"}' \
    --output json

Exemple de sortie

La sortie se présente comme suit :

{
  "ae.spark.history-server.cores" : "1",
  "ae.spark.history-server.memory" : "4G",
  "spark.driver.memory" : "8G",
  "spark.driver.cores" : "2"
}

`ibmcloud analytics-engine-v3 instance default-runtime`

Obtenir l'environnement d'exécution par défaut sur lequel toutes les charges de travail de l'instance s'exécuteront.

ibmcloud analytics-engine-v3 instance default-runtime [--id ID]

Options de commande

-i, --id (chaîne)

L'ID de l'instance Analytics Engine. Lorsqu'il est spécifié, il remplace l'identifiant de l'instance cible s'il a été défini.

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemples

ibmcloud analytics-engine-v3 instance default-runtime --output json

ibmcloud analytics-engine-v3 instance default-runtime \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Exemple de sortie

La sortie se présente comme suit :

{
  "spark_version" : "3.3"
}

`ibmcloud analytics-engine-v3 instance default-runtime-replace`

Remplacer l'environnement d'exécution par défaut sur lequel toutes les charges de travail de l'instance seront exécutées.

ibmcloud analytics-engine-v3 instance default-runtime-replace [--id ID] --runtime-spark-version RUNTIME-SPARK-VERSION

Options de commande

-i, --id (chaîne)

L'ID de l'instance Analytics Engine. Lorsqu'il est spécifié, il remplace l'identifiant de l'instance cible s'il a été défini. Requis, si l'instance cible n'a pas été définie.

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--runtime-spark-version (chaîne)

Version Spark de l'environnement d'exécution. Obligatoire.

Les valeurs admises sont: 3.1, 3.3, 3.4.

Exemples

ibmcloud analytics-engine-v3 instance default-runtime-replace \
    --runtime-spark-version=3.3 \
    --output json

ibmcloud analytics-engine-v3 instance default-runtime-replace \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --runtime-spark-version=3.3 \
    --output json

Exemple de sortie

La sortie se présente comme suit :

{
  "spark_version" : "3.3"
}

`ibmcloud analytics-engine-v3 instance current-resource-consumption`

Fournit la mémoire totale et les cœurs de processeurs virtuels alloués à toutes les applications fonctionnant dans l'instance de service à ce moment précis. Lorsque des applications à mise à l'échelle automatique sont en cours d'exécution, les ressources allouées changent au fil du temps, en fonction de la demande des applications.

Note : La consommation n'est pas une indication de la consommation réelle de ressources par les processus Spark. Il s'agit de la somme des ressources allouées aux applications en cours d'exécution au moment de la soumission de la demande.

ibmcloud analytics-engine-v3 instance current-resource-consumption [--id ID]

Options de commande

-i, --id (chaîne)

ID de l'instance Analytics Engine. Lorsqu'il est spécifié, il remplace l'identifiant de l'instance cible s'il a été défini. Requis, si l'instance cible n'a pas été définie.

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemples

ibmcloud analytics-engine-v3 instance current-resource-consumption --output json

ibmcloud analytics-engine-v3 instance current-resource-consumption \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Exemple de sortie

La sortie se présente comme suit :

{
  "cores" : "2",
  "memory" : "8G"
}

`ibmcloud analytics-engine-v3 instance resource-consumption-limits`

Renvoie la mémoire totale maximale et les cœurs de processeurs virtuels alloués à toutes les applications fonctionnant dans l'instance de service à un moment donné.

ibmcloud analytics-engine-v3 instance resource-consumption-limits [--id ID]

Options de commande

-i, --id (chaîne)

ID de l'instance Analytics Engine. Lorsqu'il est spécifié, il remplace l'identifiant de l'instance cible s'il a été défini. Requis, si l'instance cible n'a pas été définie.

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemples

ibmcloud analytics-engine-v3 instance resource-consumption-limits --output json

ibmcloud analytics-engine-v3 instance resource-consumption-limits \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Exemple de sortie

La sortie se présente comme suit :

{
  "max_cores" : "150",
  "max_memory" : "600G"
}

Commandes de l'application Spark

Avec les commandes CLI de l'application Spark, vous pouvez effectuer les opérations suivantes :

Soumettre une application Spark
Liste de toutes les applications soumises
Extraire les détails d'une application Spark
Afficher le statut d'une application soumise
Arrêter une application Spark soumise

ibmcloud analytics-engine-v3 spark-app --help

`ibmcloud analytics-engine-v3 spark-app submit`

Déploie une application Spark sur une instance Spark « serverless » donnée.

ibmcloud analytics-engine-v3 spark-app submit [--instance-id INSTANCE-ID] [--app APP] [--runtime RUNTIME] [--jars JARS] [--packages PACKAGES] [--repositories REPOSITORIES] [--files FILES] [--archives ARCHIVES] [--name NAME] [--class CLASS] [--arg ARG] [--conf CONF] [--env ENV]

Options de commande

-i, --instance-id (chaîne)

L'identifiant de l'instance Analytics Engine associée à l'application ou aux applications Spark. Lorsqu'il est spécifié, il remplace l'identifiant de l'instance cible s'il a été défini. Requis, si l'instance cible n'a pas été définie.

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--app (chaîne)

Chemin d'accès de l'application à exécuter. Obligatoire.

--runtime (Runtime)

Environnement d'exécution pour les applications et autres charges de travail.

--jars (chaîne)

Chemin des fichiers jar contenant l'application.

--packages (chaîne)

Noms des paquets.

--repositories (chaîne)

Noms des dépôts.

--files (chaîne)

Noms de fichiers.

--archives (chaîne)

Noms des archives.

--name (chaîne)

Nom de l'application.

--class (chaîne)

Point d'entrée d'une application Spark regroupée dans un fichier '.jar'. Ceci ne s'applique qu'aux applications Java ou Scala.

La valeur doit correspondre à l'expression régulière /([\\p{L}_$][\\p{L}\\p{N}_$]*\\.)*[\\p{L}_$][\\p{L}\\p{N}_$]*/.

--arg (chaîne «[]»)

Un tableau d'arguments à transmettre à l'application.

--conf (carte générique)

Configurations de l'application pour remplacer la valeur spécifiée au niveau de l'instance. Voir les variables d'environnement Spark pour une liste des variables prises en charge.

--env (carte générique)

Configurations de l'environnement d'application à utiliser. Voir les variables d'environnement Spark pour une liste des variables prises en charge.

Exemples

ibmcloud analytics-engine-v3 spark-app submit \
    --arg "/opt/ibm/spark/examples/src/main/resources/people.txt" \
    --app "/opt/ibm/spark/examples/src/main/python/wordcount.py" \
    --runtime='{"spark_version": "3.3"}' \
    --output json

ibmcloud analytics-engine-v3 spark-app submit \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --arg "/opt/ibm/spark/examples/src/main/resources/people.txt" \
    --app "/opt/ibm/spark/examples/src/main/python/wordcount.py" \
    --runtime='{"spark_version": "3.3"}' \
    --output json

Exemple de sortie

La sortie se présente comme suit :

{
  "id" : "87e63712-a823-4aa1-9f6e-7291d4e5a113",
  "state" : "accepted"
}

`ibmcloud analytics-engine-v3 spark-app list`

Renvoie une liste de toutes les applications Spark soumises à l'instance Analytics Engine spécifiée. Le résultat peut être filtré en spécifiant des paramètres de requête. Le nombre de demandes renvoyées peut être limité en spécifiant le paramètre de requête limit. Utilisez start et limit pour obtenir la page suivante ou précédente des résultats.

ibmcloud analytics-engine-v3 spark-app list [--instance-id INSTANCE-ID] [--state STATE] [--limit LIMIT] [--start START]

Options de commande

-i, --instance-id (chaîne)

L'identifiant de l'instance Analytics Engine associée à l'application ou aux applications Spark. Obligatoire.

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--state (chaîne «[]»)

Liste des états de l'application Spark qui seront utilisés pour filtrer la réponse.

Les éléments de liste autorisés sont les suivants : finished, running, failed, accepted, stopped, auto_terminated, ops_terminated.

--limit (int64)

Nombre d'entrées de la demande à inclure dans la réponse.

La valeur maximale est 1000. La valeur minimale est 1.

--start (chaîne)

Jeton utilisé pour récupérer la page suivante ou précédente de la liste des applications.

--all-pages (bool)

Envoyez plusieurs requêtes pour afficher toutes les pages de la collection « spark-app-list ».

Exemples

ibmcloud analytics-engine-v3 spark-app list \
    --state=finished \
    --limit=25

ibmcloud analytics-engine-v3 spark-app list \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --state=finished \
    --limit=25

Exemple de sortie

La sortie se présente comme suit :

{
  "applications" : [ {
    "id" : "db933645-0b68-4dcb-80d8-7b71a6c8e542",
    "spark_application_id" : "app-20211009103247-0000",
    "spark_application_name" : "PythonWordCount",
    "state" : "finished",
    "submission_time" : "2021-04-21T04:23:50Z",
    "start_time" : "2021-04-21T04:24:01Z",
    "end_time" : "2021-04-21T04:25:18Z",
    "finish_time" : "2021-04-21T04:25:18Z",
    "auto_termination_time" : "2021-04-24T04:24:01Z"
  }, {
    "id" : "a2a2b23f-0929-4c49-9cc0-bd4c2bf953d9",
    "spark_application_id" : "app-20211009103147-0000",
    "spark_application_name" : "PythonWordCount",
    "state" : "finished",
    "submission_time" : "2021-04-21T04:21:50Z",
    "start_time" : "2021-04-21T04:22:01Z",
    "end_time" : "2021-04-21T04:23:18Z",
    "finish_time" : "2021-04-21T04:23:18Z",
    "auto_termination_time" : "2021-04-24T04:22:01Z"
  } ],
  "first" : {
    "href" : "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/e64c907a-e82f-46fd-addc-ccfafbd28b09/spark_applications?limit=25"
  },
  "next" : {
    "href" : "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/e64c907a-e82f-46fd-addc-ccfafbd28b09/spark_applications?limit=25&start=QiwyMDIyLTA5LTI2IDA4OjE4OjU2LjE4MiwxMDAyYTVlZC0xZWU4LTQwZWItOWUyNC00OTMyNTcxZjgzYzE",
    "start" : "QiwyMDIyLTA5LTI2IDA4OjE4OjU2LjE4MiwxMDAyYTVlZC0xZWU4LTQwZWItOWUyNC00OTMyNTcxZjgzYzE"
  },
  "limit": 25
}

`ibmcloud analytics-engine-v3 spark-app show`

Récupère les détails d'une application Spark donnée.

ibmcloud analytics-engine-v3 spark-app show [--instance-id INSTANCE-ID] --app-id APP-ID

Options de commande

-i, --instance-id (chaîne)

Identifiant de l'instance à laquelle appartient l'application. Lorsqu'il est spécifié, il remplace l'identifiant de l'instance cible s'il a été défini. Requis, si l'instance cible n'a pas été définie.

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--app-id (chaîne)

Identifiant de la demande pour laquelle des détails sont demandés. Obligatoire.

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemples

ibmcloud analytics-engine-v3 spark-app show \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
    --output json

ibmcloud analytics-engine-v3 spark-app show \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
    --output json

Exemple de sortie

La sortie se présente comme suit :

{
  "application_details" : {
    "application" : "/opt/ibm/spark/examples/src/main/python/wordcount.py",
    "arguments" : [ "/opt/ibm/spark/examples/src/main/resources/people.txt" ],
    "runtime": {
      "spark_version": "3.3"
    }
  },
  "id" : "a9a6f328-56d8-4923-8042-97652fff2af3",
  "spark_application_id" : "app-20210908112356-0000",
  "spark_application_name" : "PythonWordCount",
  "state" : "finished",
  "submission_time" : "2021-04-21T04:23:55Z",
  "start_time" : "2021-04-21T04:24:01Z",
  "end_time" : "2021-04-21T04:28:15Z",
  "finish_time" : "2021-04-21T04:28:15Z",
  "auto_termination_time" : "2021-04-24T04:24:01Z"
}

`ibmcloud analytics-engine-v3 spark-app stop`

Arrête une application en cours d'exécution identifiée par l'identifiant app_id. C'est une opération idempotent. Effectue aucune action si l'application demandée est déjà arrêtée ou terminée.

ibmcloud analytics-engine-v3 spark-app stop [--instance-id INSTANCE-ID] --app-id APP-ID

Options de commande

-i, --instance-id (chaîne)

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--app-id (chaîne)

Identifiant de l'application qui doit être arrêtée. Obligatoire.

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemples

ibmcloud analytics-engine-v3 spark-app stop \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b

ibmcloud analytics-engine-v3 spark-app stop \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b

`ibmcloud analytics-engine-v3 spark-app status`

Renvoie l'état de l'application Spark donnée.

ibmcloud analytics-engine-v3 spark-app status [--instance-id INSTANCE-ID] --app-id APP-ID

Options de commande

-i, --instance-id (chaîne)

Identifiant de l'instance à laquelle appartiennent les applications. Lorsqu'il est spécifié, il remplace l'identifiant de l'instance cible s'il a été défini. Requis, si l'instance cible n'a pas été définie.

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--app-id (chaîne)

Identifiant de la demande pour laquelle des détails sont demandés. Obligatoire.

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemples

ibmcloud analytics-engine-v3 spark-app status \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
    --output json

ibmcloud analytics-engine-v3 spark-app status \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
    --output json

Exemple de sortie

La sortie se présente comme suit :

{
  "id" : "9da32aaf-df69-4e61-bdb8-1b2772c0f677",
  "state" : "finished",
  "start_time" : "2021-04-21T04:24:01Z",
  "end_time" : "2021-04-21T04:28:15Z",
  "finish_time" : "2021-04-21T04:28:15Z",
  "auto_termination_time" : "2021-04-24T04:24:01Z"
}

Configuration de la redirection des journaux

Utilisez cette commande pour activer ou désactiver le transfert des journaux depuis une instance sans serveur vers un service IBM Log Analysis et pour consulter l'état de la configuration du transfert des journaux.

ibmcloud analytics-engine-v3 log-forwarding-config --help

`ibmcloud analytics-engine-v3 log-forwarding-config replace`

Modifier la configuration de la transmission des journaux de l'instance Analytics Engine vers le serveur IBM Log Analysis. Ce point d'accès permet d'activer ou de désactiver la redirection des journaux.

ibmcloud analytics-engine-v3 log-forwarding-config replace [--instance-id INSTANCE-ID] --enabled ENABLED [--sources SOURCES] [--tags TAGS]

Options de commande

-i, --instance-id (chaîne)

ID de l'instance Analytics Engine. Lorsqu'il est spécifié, il remplace l'identifiant de l'instance cible s'il a été défini. Requis, si l'instance cible n'a pas été définie.

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--enabled (bool)

Activer ou désactiver le transfert de journaux. Obligatoire.

--sources (chaîne «[]»)

Liste des sources des journaux qui seront transmis. Par défaut, seuls les journaux "spark-driver" sont transmis.

--tags (chaîne «[]»)

Liste des balises à appliquer aux journaux transmis. Ils peuvent être utilisés pour filtrer les journaux dans le serveur IBM Log Analysis.

Exemples

ibmcloud analytics-engine-v3 log-forwarding-config replace \
    --enabled=true \
    --sources=spark-driver,spark-executor \
    --tags=<tag_1>,<tag_2>,<tag_n> \
    --output json

ibmcloud analytics-engine-v3 log-forwarding-config replace \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --enabled=true \
    --sources=spark-driver,spark-executor \
    --tags=<tag_1>,<tag_2>,<tag_n> \
    --output json

Exemple de sortie

La sortie se présente comme suit :

{
  "sources" : [ "spark-driver", "spark-executor" ],
  "log_server" : {
    "type" : "ibm-log-analysis"
  },
  "enabled" : true
}

`ibmcloud analytics-engine-v3 log-forwarding-config show`

Récupère la configuration de transfert de logs de l'instance Analytics Engine.

ibmcloud analytics-engine-v3 log-forwarding-config show [--instance-id INSTANCE-ID]

Options de commande

-i, --instance-id (chaîne)

ID de l'instance Analytics Engine. Lorsqu'il est spécifié, il remplace l'identifiant de l'instance cible s'il a été défini. Requis, si l'instance cible n'a pas été définie.

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemples

ibmcloud analytics-engine-v3 log-forwarding-config show --output json

ibmcloud analytics-engine-v3 log-forwarding-config show \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Exemple de sortie

La sortie se présente comme suit :

{
  "sources" : [ "spark-driver", "spark-executor" ],
  "log_server" : {
    "type" : "ibm-log-analysis"
  },
  "enabled" : true
}

Serveur de données historiques Spark

Utilisez ces commandes pour démarrer ou arrêter le serveur d'historique Spark de votre instance.

ibmcloud analytics-engine-v3 history-server --help

`ibmcloud analytics-engine-v3 history-server start`

Démarre le serveur d'historique Spark pour l'instance Analytics Engine donnée.

ibmcloud analytics-engine-v3 history-server start [--instance-id INSTANCE-ID]

Options de commande

-i, --instance-id (chaîne)

L'ID de l'instance Analytics Engine à laquelle appartient le serveur d'historique Spark. Lorsqu'il est spécifié, il remplace l'identifiant de l'instance cible s'il a été défini. Requis, si l'instance cible n'a pas été définie.

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemples

ibmcloud analytics-engine-v3 history-server start --output json

ibmcloud analytics-engine-v3 history-server start \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Exemple de sortie

La sortie se présente comme suit :

{
  "state" : "started",
  "cores" : "1",
  "memory" : "4G",
  "start_time" : "2022-02-21T07:37:47Z",
  "auto_termination_time" : "2022-02-24T07:37:47Z"
}

`ibmcloud analytics-engine-v3 history-server show`

Obtenir les détails du serveur d'historique Spark de l'instance Analytics Engine donnée.

ibmcloud analytics-engine-v3 history-server show [--instance-id INSTANCE-ID]

Options de commande

-i, --instance-id (chaîne)

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemples

ibmcloud analytics-engine-v3 history-server show --output json

ibmcloud analytics-engine-v3 history-server show \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Exemple de sortie

La sortie se présente comme suit :

{
  "state" : "started",
  "cores" : "1",
  "memory" : "4G",
  "start_time" : "2022-02-21T07:37:47Z",
  "auto_termination_time" : "2022-02-24T07:37:47Z"
}

`ibmcloud analytics-engine-v3 history-server stop`

Arrête le serveur d'historique Spark de l'instance Analytics Engine donnée.

ibmcloud analytics-engine-v3 history-server stop [--instance-id INSTANCE-ID]

Options de commande

-i, --instance-id (chaîne)

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemples

ibmcloud analytics-engine-v3 history-server stop --output json

ibmcloud analytics-engine-v3 history-server stop \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Configuration de l'historique

Note : Déclassé. Utilisez plutôt les commandes équivalentes du groupe de commandes log-forwarding-config.

ibmcloud analytics-engine-v3 log-config --help

`ibmcloud analytics-engine-v3 log-config update`

Activer ou désactiver la transmission des journaux de IBM Analytics Engine à IBM Log Analysis server.

Note : Déclassé. Utilisez plutôt replace du groupe de commandes log-forwarding-config.

ibmcloud analytics-engine-v3 log-config update [--instance-id INSTANCE-ID] [--enable ENABLE]

Options de commande

-i, --instance-id (chaîne)

GUID des détails de l'instance pour laquelle la redirection des journaux doit être configurée. Lorsqu'il est spécifié, il remplace l'identifiant de l'instance cible s'il a été défini. Requis, si l'instance cible n'a pas été définie.

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--enable (bool)

Activer ou désactiver le transfert de journaux. Obligatoire.

Exemples

ibmcloud analytics-engine-v3 log-config update \
    --enable=true \
    --output json

ibmcloud analytics-engine-v3 log-config update \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --enable=true \
    --output json

Exemple de sortie

La sortie se présente comme suit :

{
  "components" : [ "spark-driver", "spark-executor" ],
  "log_server" : {
    "type" : "ibm-log-analysis"
  },
  "enable" : true
}

`ibmcloud analytics-engine-v3 log-config show`

Récupère la configuration de journalisation d'une instance Analytics Engine donnée.

Note : Déclassé. Utilisez plutôt show du groupe de commandes log-forwarding-config.

ibmcloud analytics-engine-v3 log-config show [--instance-id INSTANCE-ID]

Options de commande

-i, --instance-id (chaîne)

GUID de l'instance de service Analytics Engine pour récupérer la configuration du journal. Lorsqu'il est spécifié, il remplace l'identifiant de l'instance cible s'il a été défini. Requis, si l'instance cible n'a pas été définie.

La valeur doit correspondre à l'expression régulière /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemples

ibmcloud analytics-engine-v3 log-config show --output json

ibmcloud analytics-engine-v3 log-config show \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Exemple de sortie

La sortie se présente comme suit :

{
  "components" : [ "spark-driver", "spark-executor" ],
  "log_server" : {
    "type" : "ibm-log-analysis"
  },
  "enable" : true
}

Exemples de schéma

L'exemple de schéma suivant représente les données nécessaires pour spécifier l'option de commande. Ces exemples illustrent la structure des données et contiennent des valeurs de remplacement correspondant au type de valeur attendu. Lorsque vous exécutez une commande, remplacez comme il convient ces valeurs par les valeurs qui s'appliquent à votre environnement.

Environnement d'exécution

L'exemple suivant illustre le format de l'objet Runtime.

{
  "spark_version" : "3.3"
}