Conector de CLI de IBM Analytics Engine para instancias sin servidor

La CLI de IBM Analytics Engine v3 proporciona opciones de línea de mandatos para interactuar con instancias de Standard Serverless Spark. Puede gestionar instancias y aplicaciones de Spark con la CLI. Para obtener más información sobre las instancias de Analytics Engine sin servidor, consulte Arquitectura y conceptos en instancias sin servidor.

Para ejecutar mandatos de la CLI de IBM Analytics Engine v3, utilice ibmcloud analytics-engine-v3 o ibmcloud ae-v3.

Requisitos previos

Descargue e instale la CLI de IBM Cloud en el sistema local. Consulte CLI de IBM Cloud para instalar la CLI.

Instalar la CLI de IBM Analytics Engine v3

Instale la CLI de IBM Analytics Engine v3 ejecutando el mandato siguiente:

ibmcloud plugin install analytics-engine-v3

El siguiente mandato de la CLI de ayuda muestra que la CLI de v3 da soporte a los mandatos de CLI para:

Establecimiento de una instancia de destino
Gestión de instancias
Gestión de aplicaciones de Spark
Configuración del reenvío de logs
Gestión del servidor histórico de Spark

$ ibmcloud ae-v3 --help

NAME:
  analytics-engine-v3 - Manage serverless Spark instances and run applications.

USAGE:
  ibmcloud analytics-engine-v3 [command] [options]

ALIASES:
  analytics-engine-v3, ae-v3

COMMANDS:
  history-server          Commands for HistoryServer resource.
  instance                Commands for Instance resource.
  log-forwarding-config   Commands for LogForwardingConfig resource.
  spark-app               Commands for SparkApp resource.
  target                  All commands run after setting a target will be run on the target instance

OPTIONS:
  -h, --help                Show help
  -j, --jmes-query string   Provide a JMESPath query to customize output.
      --output string       Choose an output format - can be 'json', 'yaml', or 'table'. (default "table")
  -q, --quiet               Suppresses verbose messages.
  -v, --version             version for analytics-engine-v3

Use "ibmcloud analytics-engine-v3 service-command --help" for more information about a command.

Establecer una instancia de destino

El siguiente comando te permite establecer una instancia de destino con respecto a la cual se ejecutarán todos comandos posteriores de la CLI.

Nota: Si se indica explícitamente el ID de la instancia en cualquier comandos de la CLI de v3, este anulará el ID de la instancia establecido como destino.

ibmcloud analytics-engine-v3 target [--instance-id INSTANCE-ID] [--unset-instance]

Opciones de comando

-i, --instance-id: El identificador de la instancia Analytics Engine de destino. Todos los comandos posteriores se ejecutan contra la instancia de destino.
--unset-instance: Revocar el valor de instancia de destino

Ejemplos

El ejemplo siguiente muestra cómo establecer una instancia de destino:

$ ibmcloud ae-v3 target --instance-id d2189b-b729-61f-adc0-987001da52e3
...

Target instance d0f582f7-cbf4-4c64-bf7f-72efd21c9f32
Subsequent commands will be run against the target instance

El ejemplo siguiente muestra cómo revocar una instancia de destino:

$ ibmcloud ae-v3 target --unset-instance
...

Target instance d0f582f7-cbf4-4c64-bf7f-72efd21c9f32 revoked
No target instance is set

Mandatos de gestión de instancias

Utilice este comando para la gestión de instancias.

ibmcloud analytics-engine-v3 instance --help

`ibmcloud analytics-engine-v3 instance show`

Recuperar los detalles de una única instancia de « Analytics Engine ».

ibmcloud analytics-engine-v3 instance show [--id ID]

Opciones de comando

-i, --id (cadena)

GUID de la instancia de servicio Analytics Engine a recuperar. Cuando se especifica, anula el ID de instancia de destino si se ha establecido. Obligatorio si no se ha establecido la instancia de destino.

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

Ejemplos

El siguiente ejemplo muestra cómo utilizar el comando show sin un ID de instancia. La operación solicitada se lleva a cabo en la instancia de destino.

ibmcloud analytics-engine-v3 instance show --output json

El siguiente ejemplo muestra cómo utilizar el comando show con un ID de instancia que anula el ID de instancia de destino si está definido:

ibmcloud analytics-engine-v3 instance show \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Salida de ejemplo

La salida es la siguiente:

{
  "id" : "dc0e9889-eab2-4t9e-9441-566209499546",
  "state" : "active",
  "state_change_time" : "2021-04-21T04:24:01Z",
  "default_runtime" : {
    "spark_version" : "3.3"
  },
  "instance_home" : {
    "guid" : "30d5c4a7-9fb7-4712-9039-a79417dec87b",
    "provider" : "ibm-cos",
    "type" : "objectstore",
    "region" : "us-south",
    "endpoint" : "s3.direct.us-south.cloud-object-storage.appdomain.cloud",
    "bucket" : "ae-bucket-do-not-delete-dc0e9889-eab2-4t9e-9441-566209499546",
    "hmac_access_key" : "eH****g=",
    "hmac_secret_key" : "4d********76"
  },
  "default_config" : {
    "spark.driver.memory" : "4g",
    "spark.driver.cores" : 1
  }
}

`ibmcloud analytics-engine-v3 instance state`

Recupera el estado de una única instancia de Analytics Engine.

ibmcloud analytics-engine-v3 instance state [--id ID]

Opciones de comando

-i, --id (cadena)

GUID de la instancia del servicio Analytics Engine para recuperar el estado. Cuando se especifica, anula el ID de instancia de destino si se ha establecido. Obligatorio, si no se ha establecido la instancia de destino.

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

Ejemplos

ibmcloud analytics-engine-v3 instance state --output json

ibmcloud analytics-engine-v3 instance state \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Salida de ejemplo

{
  "id" : "dc0e9889-eab2-4t9e-9441-566209499546",
  "state" : "active"
}

`ibmcloud analytics-engine-v3 instance home-set`

Indique los datos de la instancia Cloud Object Storage que se asociará a la instancia Analytics Engine y que se utilizará como "inicio de instancia" si aún no se ha definido.

Nota: Puede establecer 'instance home' de nuevo si la instancia está en estado 'instance_home_creation_failure'.

ibmcloud analytics-engine-v3 instance home-set [--id ID] [--instance-home-id INSTANCE-HOME-ID] [--endpoint ENDPOINT] [--hmac-access-key HMAC-ACCESS-KEY] [--hmac-secret-key HMAC-SECRET-KEY]

Opciones de comando

-i, --id (cadena)

El ID de la instancia Analytics Engine para la que se va a establecer 'instance home'. Cuando se especifica, anula el ID de instancia de destino si se ha establecido. Obligatorio, si no se ha establecido la instancia de destino.

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

--instance-home-id (cadena)

UUID de la instancia de almacenamiento de origen de la instancia.

--endpoint (cadena)

Endpoint para acceder a la instancia Cloud Object Storage.

El valor predeterminado es s3.direct.us-south.cloud-object-storage.appdomain.cloud.

--hmac-access-key (cadena)

Cloud Object Storage tecla de acceso. Obligatorio.

--hmac-secret-key (cadena)

Cloud Object Storage clave secreta. Obligatorio.

Ejemplos

ibmcloud analytics-engine-v3 instance home-set \
    --hmac-access-key=821**********0ae \
    --hmac-secret-key=03e****************4fc3 \
    --output json

ibmcloud analytics-engine-v3 instance home-set \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --instance-home-id=701549e6-ab7e-43f2-8b7e-742698c53db8 \
    --hmac-access-key=821**********0ae \
    --hmac-secret-key=03e****************4fc3 \
    --output json

Salida de ejemplo

La salida es la siguiente:

{
  "instance_id" : "701549e6-ab7e-43f2-8b7e-742698c53db8",
  "region" : "us-south",
  "endpoint" : "https://s3.direct.us-south.cloud-object-storage.appdomain.cloud",
  "hmac_access_key" : "b9**********4b",
  "hmac_secret_key" : "fa******************8a"
}

`ibmcloud analytics-engine-v3 instance default-configs`

Obtiene las propiedades de configuración por defecto de Spark que se aplicarán a todas las aplicaciones de la instancia.

ibmcloud analytics-engine-v3 instance default-configs [--id ID]

Opciones de comando

-i, --id (cadena)

ID de la instancia Analytics Engine. Cuando se especifica, anula el ID de instancia de destino si se ha establecido. Obligatorio, si no se ha establecido la instancia de destino.

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

Ejemplos

ibmcloud analytics-engine-v3 instance default-configs --output json

ibmcloud analytics-engine-v3 instance default-configs \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Salida de ejemplo

La salida es la siguiente:

{
  "spark.driver.memory" : "4G",
  "spark.driver.cores" : "1"
}

`ibmcloud analytics-engine-v3 instance default-configs-replace`

Sustituye las propiedades de configuración por defecto de Spark que se aplicarán a todas las aplicaciones de la instancia.

ibmcloud analytics-engine-v3 instance default-configs-replace [--id ID] --body BODY

Opciones de comando

-i, --id (cadena)

ID de la instancia Analytics Engine. Cuando se especifica, anula el ID de instancia de destino si se ha establecido. Obligatorio, si no se ha establecido la instancia de destino.

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

--body ( [mapstringstring] )

Propiedades de configuración de Spark para reemplazar las configuraciones de Spark por defecto de las instancias existentes. Obligatorio.

Ejemplos

ibmcloud analytics-engine-v3 instance default-configs-replace \
    --body='{"spark.driver.memory" : "8G", "spark.driver.cores" : "2"}' \
    --output json

ibmcloud analytics-engine-v3 instance default-configs-replace \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --body='{"spark.driver.memory" : "8G", "spark.driver.cores" : "2"}' \
    --output json

Salida de ejemplo

La salida es la siguiente:

{
  "spark.driver.memory" : "8G",
  "spark.driver.cores" : "2"
}

`ibmcloud analytics-engine-v3 instance default-configs-update`

Actualice las propiedades de configuración predeterminadas de Spark que se aplicarán a todas las aplicaciones de la instancia.

ibmcloud analytics-engine-v3 instance default-configs-update [--id ID] --body BODY

Opciones de comando

-i, --id (cadena)

ID de la instancia Analytics Engine. Cuando se especifica, anula el ID de instancia de destino si se ha establecido. Obligatorio, si no se ha establecido la instancia de destino.

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

--body (mapa genérico)

Propiedades de configuración de Spark que deben actualizarse. Las propiedades se fusionarán con las propiedades de configuración existentes. Establece el valor de una propiedad en null para desestablecerla. Obligatorio.

Ejemplos

ibmcloud analytics-engine-v3 instance default-configs-update \
    --body='{"ae.spark.history-server.cores" : "1", "ae.spark.history-server.memory" : "4G"}' \
    --output json

ibmcloud analytics-engine-v3 instance default-configs-update \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --body='{"ae.spark.history-server.cores" : "1", "ae.spark.history-server.memory" : "4G"}' \
    --output json

Salida de ejemplo

La salida es la siguiente:

{
  "ae.spark.history-server.cores" : "1",
  "ae.spark.history-server.memory" : "4G",
  "spark.driver.memory" : "8G",
  "spark.driver.cores" : "2"
}

`ibmcloud analytics-engine-v3 instance default-runtime`

Obtiene el entorno de ejecución predeterminado en el que se ejecutarán todas las cargas de trabajo de la instancia.

ibmcloud analytics-engine-v3 instance default-runtime [--id ID]

Opciones de comando

-i, --id (cadena)

ID de la instancia Analytics Engine. Cuando se especifica, anula el ID de instancia de destino si se ha establecido.

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

Ejemplos

ibmcloud analytics-engine-v3 instance default-runtime --output json

ibmcloud analytics-engine-v3 instance default-runtime \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Salida de ejemplo

La salida es la siguiente:

{
  "spark_version" : "3.3"
}

`ibmcloud analytics-engine-v3 instance default-runtime-replace`

Sustituye el entorno de ejecución predeterminado en el que se ejecutarán todas las cargas de trabajo de la instancia.

ibmcloud analytics-engine-v3 instance default-runtime-replace [--id ID] --runtime-spark-version RUNTIME-SPARK-VERSION

Opciones de comando

-i, --id (cadena)

ID de la instancia Analytics Engine. Cuando se especifica, anula el ID de instancia de destino si se ha establecido. Obligatorio, si no se ha establecido la instancia de destino.

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

--runtime-spark-version (cadena)

Versión Spark del entorno de ejecución. Obligatorio.

Los valores permitidos son: 3.1, 3.3, 3.4.

Ejemplos

ibmcloud analytics-engine-v3 instance default-runtime-replace \
    --runtime-spark-version=3.3 \
    --output json

ibmcloud analytics-engine-v3 instance default-runtime-replace \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --runtime-spark-version=3.3 \
    --output json

Salida de ejemplo

La salida es la siguiente:

{
  "spark_version" : "3.3"
}

`ibmcloud analytics-engine-v3 instance current-resource-consumption`

Proporciona la memoria total y los núcleos de procesador virtuales asignados a todas las aplicaciones que se ejecutan en la instancia de servicio en este momento. Cuando se ejecutan aplicaciones autoescalables, los recursos asignados cambian con el tiempo, en función de las demandas de las aplicaciones.

Nota: El consumo no es indicativo del consumo real de recursos por parte de los procesos Spark. Es la suma de los recursos asignados a las aplicaciones en ejecución en el momento de presentar la solicitud.

ibmcloud analytics-engine-v3 instance current-resource-consumption [--id ID]

Opciones de comando

-i, --id (cadena)

ID de la instancia Analytics Engine. Cuando se especifica, anula el ID de instancia de destino si se ha establecido. Obligatorio, si no se ha establecido la instancia de destino.

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

Ejemplos

ibmcloud analytics-engine-v3 instance current-resource-consumption --output json

ibmcloud analytics-engine-v3 instance current-resource-consumption \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Salida de ejemplo

La salida es la siguiente:

{
  "cores" : "2",
  "memory" : "8G"
}

`ibmcloud analytics-engine-v3 instance resource-consumption-limits`

Devuelve la memoria total máxima y los núcleos de procesador virtuales asignados a todas las aplicaciones que se ejecutan en la instancia de servicio en cualquier momento.

ibmcloud analytics-engine-v3 instance resource-consumption-limits [--id ID]

Opciones de comando

-i, --id (cadena)

ID de la instancia Analytics Engine. Cuando se especifica, anula el ID de instancia de destino si se ha establecido. Obligatorio, si no se ha establecido la instancia de destino.

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

Ejemplos

ibmcloud analytics-engine-v3 instance resource-consumption-limits --output json

ibmcloud analytics-engine-v3 instance resource-consumption-limits \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Salida de ejemplo

La salida es la siguiente:

{
  "max_cores" : "150",
  "max_memory" : "600G"
}

Mandatos de aplicación de Spark

Con los mandatos de CLI de la aplicación de Spark, puede realizar las operaciones siguientes:

Enviar una aplicación de Spark
Listar todas las aplicaciones enviadas
Recuperar los detalles de una aplicación de Spark
Mostrar el estado de una aplicación enviada
Detener una aplicación de Spark enviada

ibmcloud analytics-engine-v3 spark-app --help

`ibmcloud analytics-engine-v3 spark-app submit`

Implementa una aplicación de Spark en una instancia de Spark sin servidor determinada.

ibmcloud analytics-engine-v3 spark-app submit [--instance-id INSTANCE-ID] [--app APP] [--runtime RUNTIME] [--jars JARS] [--packages PACKAGES] [--repositories REPOSITORIES] [--files FILES] [--archives ARCHIVES] [--name NAME] [--class CLASS] [--arg ARG] [--conf CONF] [--env ENV]

Opciones de comando

-i, --instance-id (cadena)

Identificador de la instancia Analytics Engine asociada a la(s) aplicación(es) Spark. Cuando se especifica, anula el ID de instancia de destino si se ha establecido. Obligatorio, si no se ha establecido la instancia de destino.

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

--app (cadena)

Ruta de la aplicación a ejecutar. Obligatorio.

--runtime (Runtime)

Entorno de ejecución para aplicaciones y otras cargas de trabajo.

--jars (cadena)

Ruta de los archivos jar que contienen la aplicación.

--packages (cadena)

Nombres de paquetes.

--repositories (cadena)

Nombres de repositorios.

--files (cadena)

Nombres de archivos.

--archives (cadena)

Nombres de archivo.

--name (cadena)

Nombre de la aplicación.

--class (cadena)

Punto de entrada para una aplicación Spark empaquetada como archivo '.jar'. Esto sólo es aplicable a las aplicaciones Java o Scala.

El valor debe coincidir con la expresión regular « /([\\p{L}_$][\\p{L}\\p{N}_$]*\\.)*[\\p{L}_$][\\p{L}\\p{N}_$]*/ ».

--arg ([]cadena)

Una matriz de argumentos que se pasarán a la aplicación.

--conf (mapa genérico)

Configuraciones de aplicación para anular el valor especificado a nivel de instancia. Consulte Variables de entorno de Spark para obtener una lista de las variables admitidas.

--env (mapa genérico)

Configuraciones del entorno de aplicación a utilizar. Consulte Variables de entorno de Spark para obtener una lista de las variables admitidas.

Ejemplos

ibmcloud analytics-engine-v3 spark-app submit \
    --arg "/opt/ibm/spark/examples/src/main/resources/people.txt" \
    --app "/opt/ibm/spark/examples/src/main/python/wordcount.py" \
    --runtime='{"spark_version": "3.3"}' \
    --output json

ibmcloud analytics-engine-v3 spark-app submit \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --arg "/opt/ibm/spark/examples/src/main/resources/people.txt" \
    --app "/opt/ibm/spark/examples/src/main/python/wordcount.py" \
    --runtime='{"spark_version": "3.3"}' \
    --output json

Salida de ejemplo

La salida es la siguiente:

{
  "id" : "87e63712-a823-4aa1-9f6e-7291d4e5a113",
  "state" : "accepted"
}

`ibmcloud analytics-engine-v3 spark-app list`

Devuelve una lista de todas las solicitudes Spark enviadas a la instancia Analytics Engine especificada. El resultado puede filtrarse especificando parámetros de consulta. El número de aplicaciones devueltas puede limitarse especificando el parámetro de consulta limit. Utilice start junto con limit para obtener la página de resultados siguiente o anterior.

ibmcloud analytics-engine-v3 spark-app list [--instance-id INSTANCE-ID] [--state STATE] [--limit LIMIT] [--start START]

Opciones de comando

-i, --instance-id (cadena)

Identificador de la instancia Analytics Engine asociada a la(s) aplicación(es) Spark. Obligatorio.

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

--state ([]cadena)

Lista de estados de la aplicación Spark que se utilizarán para filtrar la respuesta.

Los elementos de lista permitidos son: finished, running, failed, accepted, stopped, auto_terminated, ops_terminated.

--limit (int64)

Número de entradas de la solicitud que deben incluirse en la respuesta.

El valor máximo es 1000. El valor mínimo es 1.

--start (cadena)

Token utilizado para ir a la página siguiente o anterior de la lista de aplicaciones.

--all-pages (bool)

Realiza varias solicitudes para mostrar todas las páginas de la colección de «spark-app-list».

Ejemplos

ibmcloud analytics-engine-v3 spark-app list \
    --state=finished \
    --limit=25

ibmcloud analytics-engine-v3 spark-app list \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --state=finished \
    --limit=25

Salida de ejemplo

La salida es la siguiente:

{
  "applications" : [ {
    "id" : "db933645-0b68-4dcb-80d8-7b71a6c8e542",
    "spark_application_id" : "app-20211009103247-0000",
    "spark_application_name" : "PythonWordCount",
    "state" : "finished",
    "submission_time" : "2021-04-21T04:23:50Z",
    "start_time" : "2021-04-21T04:24:01Z",
    "end_time" : "2021-04-21T04:25:18Z",
    "finish_time" : "2021-04-21T04:25:18Z",
    "auto_termination_time" : "2021-04-24T04:24:01Z"
  }, {
    "id" : "a2a2b23f-0929-4c49-9cc0-bd4c2bf953d9",
    "spark_application_id" : "app-20211009103147-0000",
    "spark_application_name" : "PythonWordCount",
    "state" : "finished",
    "submission_time" : "2021-04-21T04:21:50Z",
    "start_time" : "2021-04-21T04:22:01Z",
    "end_time" : "2021-04-21T04:23:18Z",
    "finish_time" : "2021-04-21T04:23:18Z",
    "auto_termination_time" : "2021-04-24T04:22:01Z"
  } ],
  "first" : {
    "href" : "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/e64c907a-e82f-46fd-addc-ccfafbd28b09/spark_applications?limit=25"
  },
  "next" : {
    "href" : "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/e64c907a-e82f-46fd-addc-ccfafbd28b09/spark_applications?limit=25&start=QiwyMDIyLTA5LTI2IDA4OjE4OjU2LjE4MiwxMDAyYTVlZC0xZWU4LTQwZWItOWUyNC00OTMyNTcxZjgzYzE",
    "start" : "QiwyMDIyLTA5LTI2IDA4OjE4OjU2LjE4MiwxMDAyYTVlZC0xZWU4LTQwZWItOWUyNC00OTMyNTcxZjgzYzE"
  },
  "limit": 25
}

`ibmcloud analytics-engine-v3 spark-app show`

Obtiene los detalles de una aplicación de Spark determinada.

ibmcloud analytics-engine-v3 spark-app show [--instance-id INSTANCE-ID] --app-id APP-ID

Opciones de comando

-i, --instance-id (cadena)

Identificador de la instancia a la que pertenece la aplicación. Cuando se especifica, anula el ID de instancia de destino si se ha establecido. Obligatorio, si no se ha establecido la instancia de destino.

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

--app-id (cadena)

Identificador de la solicitud para la que se piden detalles. Obligatorio.

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

Ejemplos

ibmcloud analytics-engine-v3 spark-app show \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
    --output json

ibmcloud analytics-engine-v3 spark-app show \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
    --output json

Salida de ejemplo

La salida es la siguiente:

{
  "application_details" : {
    "application" : "/opt/ibm/spark/examples/src/main/python/wordcount.py",
    "arguments" : [ "/opt/ibm/spark/examples/src/main/resources/people.txt" ],
    "runtime": {
      "spark_version": "3.3"
    }
  },
  "id" : "a9a6f328-56d8-4923-8042-97652fff2af3",
  "spark_application_id" : "app-20210908112356-0000",
  "spark_application_name" : "PythonWordCount",
  "state" : "finished",
  "submission_time" : "2021-04-21T04:23:55Z",
  "start_time" : "2021-04-21T04:24:01Z",
  "end_time" : "2021-04-21T04:28:15Z",
  "finish_time" : "2021-04-21T04:28:15Z",
  "auto_termination_time" : "2021-04-24T04:24:01Z"
}

`ibmcloud analytics-engine-v3 spark-app stop`

Detiene una aplicación en ejecución identificada por el identificador «app_id». Esta es una operación idempotente. No realiza ninguna acción si la aplicación solicitada ya está detenida o finalizada.

ibmcloud analytics-engine-v3 spark-app stop [--instance-id INSTANCE-ID] --app-id APP-ID

Opciones de comando

-i, --instance-id (cadena)

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

--app-id (cadena)

Identificador de la aplicación que debe detenerse. Obligatorio.

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

Ejemplos

ibmcloud analytics-engine-v3 spark-app stop \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b

ibmcloud analytics-engine-v3 spark-app stop \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b

`ibmcloud analytics-engine-v3 spark-app status`

Devuelve el estado de la aplicación Spark dada.

ibmcloud analytics-engine-v3 spark-app status [--instance-id INSTANCE-ID] --app-id APP-ID

Opciones de comando

-i, --instance-id (cadena)

Identificador de la instancia a la que pertenecen las aplicaciones. Cuando se especifica, anula el ID de instancia de destino si se ha establecido. Obligatorio, si no se ha establecido la instancia de destino.

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

--app-id (cadena)

Identificador de la solicitud para la que se piden detalles. Obligatorio.

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

Ejemplos

ibmcloud analytics-engine-v3 spark-app status \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
    --output json

ibmcloud analytics-engine-v3 spark-app status \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
    --output json

Salida de ejemplo

La salida es la siguiente:

{
  "id" : "9da32aaf-df69-4e61-bdb8-1b2772c0f677",
  "state" : "finished",
  "start_time" : "2021-04-21T04:24:01Z",
  "end_time" : "2021-04-21T04:28:15Z",
  "finish_time" : "2021-04-21T04:28:15Z",
  "auto_termination_time" : "2021-04-24T04:24:01Z"
}

Configuración del reenvío de logs

Utiliza este comando para activar o desactivar el reenvío de registros desde una instancia sin servidor a un servicio de IBM Log Analysis y para consultar el estado de la configuración de reenvío de registros.

ibmcloud analytics-engine-v3 log-forwarding-config --help

`ibmcloud analytics-engine-v3 log-forwarding-config replace`

Modifique la configuración para el reenvío de logs desde la instancia Analytics Engine al servidor IBM Log Analysis. Utilice este punto final para activar o desactivar el reenvío de registros.

ibmcloud analytics-engine-v3 log-forwarding-config replace [--instance-id INSTANCE-ID] --enabled ENABLED [--sources SOURCES] [--tags TAGS]

Opciones de comando

-i, --instance-id (cadena)

ID de la instancia Analytics Engine. Cuando se especifica, anula el ID de instancia de destino si se ha establecido. Obligatorio, si no se ha establecido la instancia de destino.

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

--enabled (bool)

Activar o desactivar el reenvío de registros. Obligatorio.

--sources ([]cadena)

Lista de fuentes de registros que se reenviarán. Por defecto, sólo se reenvían los registros de 'spark-driver'.

--tags ([]cadena)

Lista de etiquetas que deben aplicarse a los registros que se reenvían. Pueden utilizarse para filtrar los registros en el servidor IBM Log Analysis.

Ejemplos

ibmcloud analytics-engine-v3 log-forwarding-config replace \
    --enabled=true \
    --sources=spark-driver,spark-executor \
    --tags=<tag_1>,<tag_2>,<tag_n> \
    --output json

ibmcloud analytics-engine-v3 log-forwarding-config replace \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --enabled=true \
    --sources=spark-driver,spark-executor \
    --tags=<tag_1>,<tag_2>,<tag_n> \
    --output json

Salida de ejemplo

La salida es la siguiente:

{
  "sources" : [ "spark-driver", "spark-executor" ],
  "log_server" : {
    "type" : "ibm-log-analysis"
  },
  "enabled" : true
}

`ibmcloud analytics-engine-v3 log-forwarding-config show`

Recupera la configuración de reenvío de logs de la instancia Analytics Engine.

ibmcloud analytics-engine-v3 log-forwarding-config show [--instance-id INSTANCE-ID]

Opciones de comando

-i, --instance-id (cadena)

ID de la instancia Analytics Engine. Cuando se especifica, anula el ID de instancia de destino si se ha establecido. Obligatorio, si no se ha establecido la instancia de destino.

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

Ejemplos

ibmcloud analytics-engine-v3 log-forwarding-config show --output json

ibmcloud analytics-engine-v3 log-forwarding-config show \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Salida de ejemplo

La salida es la siguiente:

{
  "sources" : [ "spark-driver", "spark-executor" ],
  "log_server" : {
    "type" : "ibm-log-analysis"
  },
  "enabled" : true
}

Servidor de historial de Spark

Utilice estos comandos para iniciar o detener el servidor del historial de Spark de su instancia.

ibmcloud analytics-engine-v3 history-server --help

`ibmcloud analytics-engine-v3 history-server start`

Inicia el servidor de historial Spark para la instancia Analytics Engine dada.

ibmcloud analytics-engine-v3 history-server start [--instance-id INSTANCE-ID]

Opciones de comando

-i, --instance-id (cadena)

El ID de la instancia de Analytics Engine a la que pertenece el servidor del historial de Spark. Cuando se especifica, anula el ID de instancia de destino si se ha establecido. Obligatorio, si no se ha establecido la instancia de destino.

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

Ejemplos

ibmcloud analytics-engine-v3 history-server start --output json

ibmcloud analytics-engine-v3 history-server start \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Salida de ejemplo

La salida es la siguiente:

{
  "state" : "started",
  "cores" : "1",
  "memory" : "4G",
  "start_time" : "2022-02-21T07:37:47Z",
  "auto_termination_time" : "2022-02-24T07:37:47Z"
}

`ibmcloud analytics-engine-v3 history-server show`

Obtiene los detalles del servidor de historial Spark de la instancia Analytics Engine dada.

ibmcloud analytics-engine-v3 history-server show [--instance-id INSTANCE-ID]

Opciones de comando

-i, --instance-id (cadena)

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

Ejemplos

ibmcloud analytics-engine-v3 history-server show --output json

ibmcloud analytics-engine-v3 history-server show \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Salida de ejemplo

La salida es la siguiente:

{
  "state" : "started",
  "cores" : "1",
  "memory" : "4G",
  "start_time" : "2022-02-21T07:37:47Z",
  "auto_termination_time" : "2022-02-24T07:37:47Z"
}

`ibmcloud analytics-engine-v3 history-server stop`

Detener el servidor de historial Spark de la instancia Analytics Engine dada.

ibmcloud analytics-engine-v3 history-server stop [--instance-id INSTANCE-ID]

Opciones de comando

-i, --instance-id (cadena)

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

Ejemplos

ibmcloud analytics-engine-v3 history-server stop --output json

ibmcloud analytics-engine-v3 history-server stop \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Configuración del registro

Nota: obsoleto. Utilice en su lugar comandos equivalentes del grupo de comando log-forwarding-config.

ibmcloud analytics-engine-v3 log-config --help

`ibmcloud analytics-engine-v3 log-config update`

Activar o desactivar el reenvío de registros de IBM Analytics Engine a IBM Log Analysis servidor.

Nota: obsoleto. Utilice en su lugar replace del grupo de comando log-forwarding-config.

ibmcloud analytics-engine-v3 log-config update [--instance-id INSTANCE-ID] [--enable ENABLE]

Opciones de comando

-i, --instance-id (cadena)

GUID de los detalles de la instancia para la que debe configurarse el reenvío de registros. Cuando se especifica, anula el ID de instancia de destino si se ha establecido. Obligatorio, si no se ha establecido la instancia de destino.

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

--enable (bool)

Activar o desactivar el reenvío de registros. Obligatorio.

Ejemplos

ibmcloud analytics-engine-v3 log-config update \
    --enable=true \
    --output json

ibmcloud analytics-engine-v3 log-config update \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --enable=true \
    --output json

Salida de ejemplo

La salida es la siguiente:

{
  "components" : [ "spark-driver", "spark-executor" ],
  "log_server" : {
    "type" : "ibm-log-analysis"
  },
  "enable" : true
}

`ibmcloud analytics-engine-v3 log-config show`

Recupera la configuración de registro de una determinada instancia de Analytics Engine.

Nota: obsoleto. Utilice en su lugar show del grupo de comando log-forwarding-config.

ibmcloud analytics-engine-v3 log-config show [--instance-id INSTANCE-ID]

Opciones de comando

-i, --instance-id (cadena)

GUID de la instancia del servicio Analytics Engine para recuperar la configuración del registro. Cuando se especifica, anula el ID de instancia de destino si se ha establecido. Obligatorio, si no se ha establecido la instancia de destino.

El valor debe coincidir con la expresión regular « /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/ ».

Ejemplos

ibmcloud analytics-engine-v3 log-config show --output json

ibmcloud analytics-engine-v3 log-config show \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Salida de ejemplo

La salida es la siguiente:

{
  "components" : [ "spark-driver", "spark-executor" ],
  "log_server" : {
    "type" : "ibm-log-analysis"
  },
  "enable" : true
}

Ejemplos de esquema

El siguiente ejemplo de esquema representa los datos necesarios para especificar la opción de comando. Estos ejemplos muestran la estructura de los datos e incluyen valores de marcador de posición para el tipo de valor esperado. Cuando ejecute un mandato, sustituya estos valores por los valores que se aplican a su entorno según corresponda.

Tiempo de ejecución

El siguiente ejemplo muestra el formato del objeto Runtime.

{
  "spark_version" : "3.3"
}