CLI do plug-in IBM Analytics Engine para instâncias serverless

A CLI do IBM Analytics Engine v3 fornece opções de linha de comandos para interagir com instâncias Standard Serverless Spark. É possível gerenciar instâncias e aplicativos Spark com a CLI. Para obter mais informações sobre instâncias serverless Analytics Engine, consulte Arquitetura e conceitos em instâncias serverless.

Para executar os comandos da CLI do IBM Analytics Engine v3, use ibmcloud analytics-engine-v3 ou ibmcloud ae-v3.

Pré-requisitos

Faça o download e instale a CLI do IBM Cloud no sistema local. Consulte CLI do IBM Cloud para instalar a CLI.

Instale a CLI do IBM Analytics Engine v3

Instale a CLI do IBM Analytics Engine v3 executando o comando a seguir:

ibmcloud plugin install analytics-engine-v3

O comando da CLI de ajuda a seguir mostra que a CLI da v3 suporta comandos da CLI para:

Configurar uma instância de destino
Gerenciamento de instância
Gerenciamento de aplicativos Spark
Configuração de encaminhamento de registros
Gerenciamento do servidor de histórico do Spark

$ ibmcloud ae-v3 --help

NAME:
  analytics-engine-v3 - Manage serverless Spark instances and run applications.

USAGE:
  ibmcloud analytics-engine-v3 [command] [options]

ALIASES:
  analytics-engine-v3, ae-v3

COMMANDS:
  history-server          Commands for HistoryServer resource.
  instance                Commands for Instance resource.
  log-forwarding-config   Commands for LogForwardingConfig resource.
  spark-app               Commands for SparkApp resource.
  target                  All commands run after setting a target will be run on the target instance

OPTIONS:
  -h, --help                Show help
  -j, --jmes-query string   Provide a JMESPath query to customize output.
      --output string       Choose an output format - can be 'json', 'yaml', or 'table'. (default "table")
  -q, --quiet               Suppresses verbose messages.
  -v, --version             version for analytics-engine-v3

Use "ibmcloud analytics-engine-v3 service-command --help" for more information about a command.

Configurar uma instância de destino

O comando a seguir permite definir uma instância de destino na qual todos os comandos subsequentes da CLI serão executados.

Observação: Se o ID da instância for passado explicitamente em qualquer comando da CLI do v3, ele substituirá o ID da instância definido como destino.

ibmcloud analytics-engine-v3 target [--instance-id INSTANCE-ID] [--unset-instance]

Opções de comando

-i, --instance-id: O identificador da instância de destino Analytics Engine. Todos os comandos subsequentes são executados na instância de destino.
--unset-instance: Revogar a configuração de instância de destino

Exemplos

O exemplo a seguir mostra como configurar uma instância de destino:

$ ibmcloud ae-v3 target --instance-id d2189b-b729-61f-adc0-987001da52e3
...

Target instance d0f582f7-cbf4-4c64-bf7f-72efd21c9f32
Subsequent commands will be run against the target instance

O exemplo a seguir mostra como revogar uma instância de destino:

$ ibmcloud ae-v3 target --unset-instance
...

Target instance d0f582f7-cbf4-4c64-bf7f-72efd21c9f32 revoked
No target instance is set

Comandos de gerenciamento de instância

Use esse comando para o gerenciamento de instâncias.

ibmcloud analytics-engine-v3 instance --help

`ibmcloud analytics-engine-v3 instance show`

Recuperar os detalhes de uma única instância do Analytics Engine.

ibmcloud analytics-engine-v3 instance show [--id ID]

Opções de comando

-i, --id (string)

GUID da instância do serviço Analytics Engine a ser recuperada. Quando especificado, ele substitui a ID da instância de destino, caso ela tenha sido definida. Necessário se a instância de destino não tiver sido definida.

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemplos

O exemplo a seguir mostra como usar o comando show sem um ID de instância. A operação solicitada é executada na instância de destino.

ibmcloud analytics-engine-v3 instance show --output json

O exemplo a seguir mostra como usar o comando show com um ID de instância que substitui o ID de instância de destino, se definido:

ibmcloud analytics-engine-v3 instance show \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Exemplo de saída

A saída é a seguinte:

{
  "id" : "dc0e9889-eab2-4t9e-9441-566209499546",
  "state" : "active",
  "state_change_time" : "2021-04-21T04:24:01Z",
  "default_runtime" : {
    "spark_version" : "3.3"
  },
  "instance_home" : {
    "guid" : "30d5c4a7-9fb7-4712-9039-a79417dec87b",
    "provider" : "ibm-cos",
    "type" : "objectstore",
    "region" : "us-south",
    "endpoint" : "s3.direct.us-south.cloud-object-storage.appdomain.cloud",
    "bucket" : "ae-bucket-do-not-delete-dc0e9889-eab2-4t9e-9441-566209499546",
    "hmac_access_key" : "eH****g=",
    "hmac_secret_key" : "4d********76"
  },
  "default_config" : {
    "spark.driver.memory" : "4g",
    "spark.driver.cores" : 1
  }
}

`ibmcloud analytics-engine-v3 instance state`

Recuperar o estado de uma única instância do site Analytics Engine.

ibmcloud analytics-engine-v3 instance state [--id ID]

Opções de comando

-i, --id (string)

GUID da instância do serviço Analytics Engine para recuperar o estado. Quando especificado, ele substitui a ID da instância de destino, caso ela tenha sido definida. Obrigatório, se a instância de destino não tiver sido definida.

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemplos

ibmcloud analytics-engine-v3 instance state --output json

ibmcloud analytics-engine-v3 instance state \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Exemplo de saída

{
  "id" : "dc0e9889-eab2-4t9e-9441-566209499546",
  "state" : "active"
}

`ibmcloud analytics-engine-v3 instance home-set`

Forneça os detalhes da instância Cloud Object Storage para associar à instância Analytics Engine e usar como "instance home" se "instance home" ainda não tiver sido definido.

Observação: Você pode definir a "instance home" novamente se a instância estiver no estado "instance_home_creation_failure".

ibmcloud analytics-engine-v3 instance home-set [--id ID] [--instance-home-id INSTANCE-HOME-ID] [--endpoint ENDPOINT] [--hmac-access-key HMAC-ACCESS-KEY] [--hmac-secret-key HMAC-SECRET-KEY]

Opções de comando

-i, --id (string)

A ID da instância Analytics Engine para a qual "instance home" deve ser definida. Quando especificado, ele substitui a ID da instância de destino, caso ela tenha sido definida. Obrigatório, se a instância de destino não tiver sido definida.

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--instance-home-id (string)

UUID da instância de armazenamento doméstico da instância.

--endpoint (string)

Ponto de extremidade para acessar a instância Cloud Object Storage.

O valor padrão é s3.direct.us-south.cloud-object-storage.appdomain.cloud.

--hmac-access-key (string)

Cloud Object Storage tecla de acesso. Obrigatório.

--hmac-secret-key (string)

Cloud Object Storage chave secreta. Obrigatório.

Exemplos

ibmcloud analytics-engine-v3 instance home-set \
    --hmac-access-key=821**********0ae \
    --hmac-secret-key=03e****************4fc3 \
    --output json

ibmcloud analytics-engine-v3 instance home-set \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --instance-home-id=701549e6-ab7e-43f2-8b7e-742698c53db8 \
    --hmac-access-key=821**********0ae \
    --hmac-secret-key=03e****************4fc3 \
    --output json

Exemplo de saída

A saída é a seguinte:

{
  "instance_id" : "701549e6-ab7e-43f2-8b7e-742698c53db8",
  "region" : "us-south",
  "endpoint" : "https://s3.direct.us-south.cloud-object-storage.appdomain.cloud",
  "hmac_access_key" : "b9**********4b",
  "hmac_secret_key" : "fa******************8a"
}

`ibmcloud analytics-engine-v3 instance default-configs`

Obtenha as propriedades de configuração padrão do Spark que serão aplicadas a todos os aplicativos da instância.

ibmcloud analytics-engine-v3 instance default-configs [--id ID]

Opções de comando

-i, --id (string)

A ID da instância Analytics Engine. Quando especificado, ele substitui a ID da instância de destino, caso ela tenha sido definida. Obrigatório, se a instância de destino não tiver sido definida.

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemplos

ibmcloud analytics-engine-v3 instance default-configs --output json

ibmcloud analytics-engine-v3 instance default-configs \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Exemplo de saída

A saída é a seguinte:

{
  "spark.driver.memory" : "4G",
  "spark.driver.cores" : "1"
}

`ibmcloud analytics-engine-v3 instance default-configs-replace`

Substitua as propriedades de configuração padrão do Spark que serão aplicadas a todos os aplicativos da instância.

ibmcloud analytics-engine-v3 instance default-configs-replace [--id ID] --body BODY

Opções de comando

-i, --id (string)

A ID da instância Analytics Engine. Quando especificado, ele substitui a ID da instância de destino, caso ela tenha sido definida. Obrigatório, se a instância de destino não tiver sido definida.

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--body ( [mapstringstring] )

Propriedades de configuração do Spark para substituir as configurações padrão do Spark da instância existente. Obrigatório.

Exemplos

ibmcloud analytics-engine-v3 instance default-configs-replace \
    --body='{"spark.driver.memory" : "8G", "spark.driver.cores" : "2"}' \
    --output json

ibmcloud analytics-engine-v3 instance default-configs-replace \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --body='{"spark.driver.memory" : "8G", "spark.driver.cores" : "2"}' \
    --output json

Exemplo de saída

A saída é a seguinte:

{
  "spark.driver.memory" : "8G",
  "spark.driver.cores" : "2"
}

`ibmcloud analytics-engine-v3 instance default-configs-update`

Atualize as propriedades de configuração padrão do Spark que serão aplicadas a todos os aplicativos da instância.

ibmcloud analytics-engine-v3 instance default-configs-update [--id ID] --body BODY

Opções de comando

-i, --id (string)

A ID da instância Analytics Engine. Quando especificado, ele substitui a ID da instância de destino, caso ela tenha sido definida. Obrigatório, se a instância de destino não tiver sido definida.

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--body (mapa genérico)

Propriedades de configuração do Spark a serem atualizadas. As propriedades serão mescladas com as propriedades de configuração existentes. Defina o valor de uma propriedade como null para poder desmarcá-la. Obrigatório.

Exemplos

ibmcloud analytics-engine-v3 instance default-configs-update \
    --body='{"ae.spark.history-server.cores" : "1", "ae.spark.history-server.memory" : "4G"}' \
    --output json

ibmcloud analytics-engine-v3 instance default-configs-update \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --body='{"ae.spark.history-server.cores" : "1", "ae.spark.history-server.memory" : "4G"}' \
    --output json

Exemplo de saída

A saída é a seguinte:

{
  "ae.spark.history-server.cores" : "1",
  "ae.spark.history-server.memory" : "4G",
  "spark.driver.memory" : "8G",
  "spark.driver.cores" : "2"
}

`ibmcloud analytics-engine-v3 instance default-runtime`

Obtenha o ambiente de tempo de execução padrão no qual todas as cargas de trabalho da instância serão executadas.

ibmcloud analytics-engine-v3 instance default-runtime [--id ID]

Opções de comando

-i, --id (string)

A ID da instância Analytics Engine. Quando especificado, ele substitui a ID da instância de destino, caso ela tenha sido definida.

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemplos

ibmcloud analytics-engine-v3 instance default-runtime --output json

ibmcloud analytics-engine-v3 instance default-runtime \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Exemplo de saída

A saída é a seguinte:

{
  "spark_version" : "3.3"
}

`ibmcloud analytics-engine-v3 instance default-runtime-replace`

Substitui o ambiente de tempo de execução padrão no qual todas as cargas de trabalho da instância serão executadas.

ibmcloud analytics-engine-v3 instance default-runtime-replace [--id ID] --runtime-spark-version RUNTIME-SPARK-VERSION

Opções de comando

-i, --id (string)

A ID da instância Analytics Engine. Quando especificado, ele substitui a ID da instância de destino, caso ela tenha sido definida. Obrigatório, se a instância de destino não tiver sido definida.

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--runtime-spark-version (string)

Versão Spark do ambiente de tempo de execução. Obrigatório.

Os valores permitidos são: 3.1, 3.3, 3.4.

Exemplos

ibmcloud analytics-engine-v3 instance default-runtime-replace \
    --runtime-spark-version=3.3 \
    --output json

ibmcloud analytics-engine-v3 instance default-runtime-replace \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --runtime-spark-version=3.3 \
    --output json

Exemplo de saída

A saída é a seguinte:

{
  "spark_version" : "3.3"
}

`ibmcloud analytics-engine-v3 instance current-resource-consumption`

Fornece o total de memória e núcleos de processador virtual alocados para todos os aplicativos em execução na instância de serviço nesse momento. Quando os aplicativos de escala automática estão em execução, os recursos alocados mudam com o tempo, com base nas demandas dos aplicativos.

Observação: o consumo não é uma indicação do consumo real de recursos pelos processos do Spark. É a soma dos recursos alocados para os aplicativos em execução no momento do envio do aplicativo.

ibmcloud analytics-engine-v3 instance current-resource-consumption [--id ID]

Opções de comando

-i, --id (string)

ID da instância Analytics Engine. Quando especificado, ele substitui a ID da instância de destino, caso ela tenha sido definida. Obrigatório, se a instância de destino não tiver sido definida.

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemplos

ibmcloud analytics-engine-v3 instance current-resource-consumption --output json

ibmcloud analytics-engine-v3 instance current-resource-consumption \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Exemplo de saída

A saída é a seguinte:

{
  "cores" : "2",
  "memory" : "8G"
}

`ibmcloud analytics-engine-v3 instance resource-consumption-limits`

Retorna o total máximo de memória e núcleos de processador virtual alocados em todos os aplicativos em execução na instância de serviço em qualquer momento.

ibmcloud analytics-engine-v3 instance resource-consumption-limits [--id ID]

Opções de comando

-i, --id (string)

ID da instância Analytics Engine. Quando especificado, ele substitui a ID da instância de destino, caso ela tenha sido definida. Obrigatório, se a instância de destino não tiver sido definida.

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemplos

ibmcloud analytics-engine-v3 instance resource-consumption-limits --output json

ibmcloud analytics-engine-v3 instance resource-consumption-limits \
    --id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Exemplo de saída

A saída é a seguinte:

{
  "max_cores" : "150",
  "max_memory" : "600G"
}

Comandos do aplicativo Spark

Com os comandos da CLI do aplicativo Spark, é possível executar as operações a seguir:

Enviar um aplicativo Spark
Listar todos os aplicativos enviados
Recuperar os detalhes de um aplicativo Spark
Mostrar o status de um aplicativo enviado
Parar um aplicativo Spark enviado

ibmcloud analytics-engine-v3 spark-app --help

`ibmcloud analytics-engine-v3 spark-app submit`

Implemente uma aplicação Spark em uma determinada instância do Spark sem servidor.

ibmcloud analytics-engine-v3 spark-app submit [--instance-id INSTANCE-ID] [--app APP] [--runtime RUNTIME] [--jars JARS] [--packages PACKAGES] [--repositories REPOSITORIES] [--files FILES] [--archives ARCHIVES] [--name NAME] [--class CLASS] [--arg ARG] [--conf CONF] [--env ENV]

Opções de comando

-i, --instance-id (string)

O identificador da instância Analytics Engine associada ao(s) aplicativo(s) Spark. Quando especificado, ele substitui a ID da instância de destino, caso ela tenha sido definida. Obrigatório, se a instância de destino não tiver sido definida.

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--app (string)

Caminho do aplicativo a ser executado. Obrigatório.

--runtime (Runtime)

Ambiente de tempo de execução para aplicativos e outras cargas de trabalho.

--jars (string)

Caminho dos arquivos jar que contêm o aplicativo.

--packages (string)

Nomes de pacotes.

--repositories (string)

Nomes de repositórios.

--files (string)

Nomes de arquivos.

--archives (string)

Nomes de arquivos.

--name (string)

Nome do aplicativo.

--class (string)

Ponto de entrada para um aplicativo Spark empacotado como um arquivo ".jar". Isso é aplicável somente para aplicativos Java ou Scala.

O valor deve corresponder à expressão regular /([\\p{L}_$][\\p{L}\\p{N}_$]*\\.)*[\\p{L}_$][\\p{L}\\p{N}_$]*/.

--arg ([]string)

Uma matriz de argumentos a serem passados para o aplicativo.

--conf (mapa genérico)

Configurações do aplicativo para substituir o valor especificado no nível da instância. Consulte Variáveis de ambiente do Spark para obter uma lista das variáveis compatíveis.

--env (mapa genérico)

Configurações do ambiente do aplicativo a serem usadas. Consulte Variáveis de ambiente do Spark para obter uma lista das variáveis compatíveis.

Exemplos

ibmcloud analytics-engine-v3 spark-app submit \
    --arg "/opt/ibm/spark/examples/src/main/resources/people.txt" \
    --app "/opt/ibm/spark/examples/src/main/python/wordcount.py" \
    --runtime='{"spark_version": "3.3"}' \
    --output json

ibmcloud analytics-engine-v3 spark-app submit \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --arg "/opt/ibm/spark/examples/src/main/resources/people.txt" \
    --app "/opt/ibm/spark/examples/src/main/python/wordcount.py" \
    --runtime='{"spark_version": "3.3"}' \
    --output json

Exemplo de saída

A saída é a seguinte:

{
  "id" : "87e63712-a823-4aa1-9f6e-7291d4e5a113",
  "state" : "accepted"
}

`ibmcloud analytics-engine-v3 spark-app list`

Retorna uma lista de todos os aplicativos Spark enviados para a instância Analytics Engine especificada. O resultado pode ser filtrado com a especificação de parâmetros de consulta. O número de aplicativos retornados pode ser limitado com a especificação do parâmetro de consulta limit. Use start junto com limit para buscar a página seguinte ou anterior dos resultados.

ibmcloud analytics-engine-v3 spark-app list [--instance-id INSTANCE-ID] [--state STATE] [--limit LIMIT] [--start START]

Opções de comando

-i, --instance-id (string)

O identificador da instância Analytics Engine associada ao(s) aplicativo(s) Spark. Obrigatório.

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--state ([]string)

Lista de estados do aplicativo Spark que serão usados para filtrar a resposta.

Os itens de lista permitidos são: finished, running, failed, accepted, stopped, auto_terminated, ops_terminated.

--limit (int64)

Número de entradas de aplicativo a serem incluídas na resposta.

O valor máximo é 1000. O valor mínimo é 1.

--start (string)

Token usado para buscar a próxima página ou a página anterior da lista de aplicativos.

--all-pages (bool)

Envie várias solicitações para exibir todas as páginas da coleção do spark-app-list.

Exemplos

ibmcloud analytics-engine-v3 spark-app list \
    --state=finished \
    --limit=25

ibmcloud analytics-engine-v3 spark-app list \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --state=finished \
    --limit=25

Exemplo de saída

A saída é a seguinte:

{
  "applications" : [ {
    "id" : "db933645-0b68-4dcb-80d8-7b71a6c8e542",
    "spark_application_id" : "app-20211009103247-0000",
    "spark_application_name" : "PythonWordCount",
    "state" : "finished",
    "submission_time" : "2021-04-21T04:23:50Z",
    "start_time" : "2021-04-21T04:24:01Z",
    "end_time" : "2021-04-21T04:25:18Z",
    "finish_time" : "2021-04-21T04:25:18Z",
    "auto_termination_time" : "2021-04-24T04:24:01Z"
  }, {
    "id" : "a2a2b23f-0929-4c49-9cc0-bd4c2bf953d9",
    "spark_application_id" : "app-20211009103147-0000",
    "spark_application_name" : "PythonWordCount",
    "state" : "finished",
    "submission_time" : "2021-04-21T04:21:50Z",
    "start_time" : "2021-04-21T04:22:01Z",
    "end_time" : "2021-04-21T04:23:18Z",
    "finish_time" : "2021-04-21T04:23:18Z",
    "auto_termination_time" : "2021-04-24T04:22:01Z"
  } ],
  "first" : {
    "href" : "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/e64c907a-e82f-46fd-addc-ccfafbd28b09/spark_applications?limit=25"
  },
  "next" : {
    "href" : "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/e64c907a-e82f-46fd-addc-ccfafbd28b09/spark_applications?limit=25&start=QiwyMDIyLTA5LTI2IDA4OjE4OjU2LjE4MiwxMDAyYTVlZC0xZWU4LTQwZWItOWUyNC00OTMyNTcxZjgzYzE",
    "start" : "QiwyMDIyLTA5LTI2IDA4OjE4OjU2LjE4MiwxMDAyYTVlZC0xZWU4LTQwZWItOWUyNC00OTMyNTcxZjgzYzE"
  },
  "limit": 25
}

`ibmcloud analytics-engine-v3 spark-app show`

Obtém os detalhes de uma determinada aplicação do Spark.

ibmcloud analytics-engine-v3 spark-app show [--instance-id INSTANCE-ID] --app-id APP-ID

Opções de comando

-i, --instance-id (string)

Identificador da instância à qual o aplicativo pertence. Quando especificado, ele substitui a ID da instância de destino, caso ela tenha sido definida. Obrigatório, se a instância de destino não tiver sido definida.

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--app-id (string)

Identificador do aplicativo para o qual os detalhes são solicitados. Obrigatório.

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemplos

ibmcloud analytics-engine-v3 spark-app show \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
    --output json

ibmcloud analytics-engine-v3 spark-app show \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
    --output json

Exemplo de saída

A saída é a seguinte:

{
  "application_details" : {
    "application" : "/opt/ibm/spark/examples/src/main/python/wordcount.py",
    "arguments" : [ "/opt/ibm/spark/examples/src/main/resources/people.txt" ],
    "runtime": {
      "spark_version": "3.3"
    }
  },
  "id" : "a9a6f328-56d8-4923-8042-97652fff2af3",
  "spark_application_id" : "app-20210908112356-0000",
  "spark_application_name" : "PythonWordCount",
  "state" : "finished",
  "submission_time" : "2021-04-21T04:23:55Z",
  "start_time" : "2021-04-21T04:24:01Z",
  "end_time" : "2021-04-21T04:28:15Z",
  "finish_time" : "2021-04-21T04:28:15Z",
  "auto_termination_time" : "2021-04-24T04:24:01Z"
}

`ibmcloud analytics-engine-v3 spark-app stop`

Encerra um aplicativo em execução identificado pelo identificador app_id. Trata-se de uma operação idempotente. Não executará nenhuma ação se o aplicativo solicitado já estiver parado ou concluído.

ibmcloud analytics-engine-v3 spark-app stop [--instance-id INSTANCE-ID] --app-id APP-ID

Opções de comando

-i, --instance-id (string)

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--app-id (string)

Identificador do aplicativo que precisa ser interrompido. Obrigatório.

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemplos

ibmcloud analytics-engine-v3 spark-app stop \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b

ibmcloud analytics-engine-v3 spark-app stop \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b

`ibmcloud analytics-engine-v3 spark-app status`

Retorna o status do aplicativo Spark fornecido.

ibmcloud analytics-engine-v3 spark-app status [--instance-id INSTANCE-ID] --app-id APP-ID

Opções de comando

-i, --instance-id (string)

Identificador da instância à qual os aplicativos pertencem. Quando especificado, ele substitui a ID da instância de destino, caso ela tenha sido definida. Obrigatório, se a instância de destino não tiver sido definida.

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--app-id (string)

Identificador do aplicativo para o qual os detalhes são solicitados. Obrigatório.

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemplos

ibmcloud analytics-engine-v3 spark-app status \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
    --output json

ibmcloud analytics-engine-v3 spark-app status \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --app-id=ff48cc19-0e7e-4627-aac6-0b4ad080397b \
    --output json

Exemplo de saída

A saída é a seguinte:

{
  "id" : "9da32aaf-df69-4e61-bdb8-1b2772c0f677",
  "state" : "finished",
  "start_time" : "2021-04-21T04:24:01Z",
  "end_time" : "2021-04-21T04:28:15Z",
  "finish_time" : "2021-04-21T04:28:15Z",
  "auto_termination_time" : "2021-04-24T04:24:01Z"
}

Configuração de encaminhamento de registros

Use este comando para ativar ou desativar o encaminhamento de logs de uma instância sem servidor para um serviço do IBM Log Analysis e para visualizar o status da configuração de encaminhamento de logs.

ibmcloud analytics-engine-v3 log-forwarding-config --help

`ibmcloud analytics-engine-v3 log-forwarding-config replace`

Modifique a configuração para encaminhar os registros da instância Analytics Engine para o servidor IBM Log Analysis. Use esse ponto de extremidade para ativar ou desativar o encaminhamento de registros.

ibmcloud analytics-engine-v3 log-forwarding-config replace [--instance-id INSTANCE-ID] --enabled ENABLED [--sources SOURCES] [--tags TAGS]

Opções de comando

-i, --instance-id (string)

ID da instância Analytics Engine. Quando especificado, ele substitui a ID da instância de destino, caso ela tenha sido definida. Obrigatório, se a instância de destino não tiver sido definida.

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--enabled (bool)

Ativar ou desativar o encaminhamento de registros. Obrigatório.

--sources ([]string)

Lista de fontes de registros que serão encaminhados. Por padrão, apenas os registros "spark-driver" são encaminhados.

--tags ([]string)

Lista de tags a serem aplicadas aos logs que estão sendo encaminhados. Eles podem ser usados para filtrar os registros no servidor IBM Log Analysis.

Exemplos

ibmcloud analytics-engine-v3 log-forwarding-config replace \
    --enabled=true \
    --sources=spark-driver,spark-executor \
    --tags=<tag_1>,<tag_2>,<tag_n> \
    --output json

ibmcloud analytics-engine-v3 log-forwarding-config replace \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --enabled=true \
    --sources=spark-driver,spark-executor \
    --tags=<tag_1>,<tag_2>,<tag_n> \
    --output json

Exemplo de saída

A saída é a seguinte:

{
  "sources" : [ "spark-driver", "spark-executor" ],
  "log_server" : {
    "type" : "ibm-log-analysis"
  },
  "enabled" : true
}

`ibmcloud analytics-engine-v3 log-forwarding-config show`

Recupere a configuração de encaminhamento de logs da instância Analytics Engine.

ibmcloud analytics-engine-v3 log-forwarding-config show [--instance-id INSTANCE-ID]

Opções de comando

-i, --instance-id (string)

ID da instância Analytics Engine. Quando especificado, ele substitui a ID da instância de destino, caso ela tenha sido definida. Obrigatório, se a instância de destino não tiver sido definida.

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemplos

ibmcloud analytics-engine-v3 log-forwarding-config show --output json

ibmcloud analytics-engine-v3 log-forwarding-config show \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Exemplo de saída

A saída é a seguinte:

{
  "sources" : [ "spark-driver", "spark-executor" ],
  "log_server" : {
    "type" : "ibm-log-analysis"
  },
  "enabled" : true
}

Servidor de históricos do Spark

Use esses comandos para iniciar ou parar o servidor de histórico do Spark de sua instância.

ibmcloud analytics-engine-v3 history-server --help

`ibmcloud analytics-engine-v3 history-server start`

Inicia o servidor de histórico do Spark para a instância Analytics Engine fornecida.

ibmcloud analytics-engine-v3 history-server start [--instance-id INSTANCE-ID]

Opções de comando

-i, --instance-id (string)

A ID da instância Analytics Engine à qual pertence o servidor de histórico do Spark. Quando especificado, ele substitui a ID da instância de destino, caso ela tenha sido definida. Obrigatório, se a instância de destino não tiver sido definida.

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemplos

ibmcloud analytics-engine-v3 history-server start --output json

ibmcloud analytics-engine-v3 history-server start \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Exemplo de saída

A saída é a seguinte:

{
  "state" : "started",
  "cores" : "1",
  "memory" : "4G",
  "start_time" : "2022-02-21T07:37:47Z",
  "auto_termination_time" : "2022-02-24T07:37:47Z"
}

`ibmcloud analytics-engine-v3 history-server show`

Obtém os detalhes do servidor de histórico do Spark da instância Analytics Engine fornecida.

ibmcloud analytics-engine-v3 history-server show [--instance-id INSTANCE-ID]

Opções de comando

-i, --instance-id (string)

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemplos

ibmcloud analytics-engine-v3 history-server show --output json

ibmcloud analytics-engine-v3 history-server show \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Exemplo de saída

A saída é a seguinte:

{
  "state" : "started",
  "cores" : "1",
  "memory" : "4G",
  "start_time" : "2022-02-21T07:37:47Z",
  "auto_termination_time" : "2022-02-24T07:37:47Z"
}

`ibmcloud analytics-engine-v3 history-server stop`

Interrompe o servidor de histórico do Spark da instância Analytics Engine fornecida.

ibmcloud analytics-engine-v3 history-server stop [--instance-id INSTANCE-ID]

Opções de comando

-i, --instance-id (string)

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemplos

ibmcloud analytics-engine-v3 history-server stop --output json

ibmcloud analytics-engine-v3 history-server stop \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Configuração de log

Observação: Prejudicado. Em vez disso, use comandos equivalentes do grupo de comandos log-forwarding-config.

ibmcloud analytics-engine-v3 log-config --help

`ibmcloud analytics-engine-v3 log-config update`

Ativar ou desativar o encaminhamento de registros do servidor IBM Analytics Engine para IBM Log Analysis.

Observação: Prejudicado. Em vez disso, use replace do grupo de comandos log-forwarding-config.

ibmcloud analytics-engine-v3 log-config update [--instance-id INSTANCE-ID] [--enable ENABLE]

Opções de comando

-i, --instance-id (string)

GUID dos detalhes da instância para a qual o encaminhamento de log deve ser configurado. Quando especificado, ele substitui a ID da instância de destino, caso ela tenha sido definida. Obrigatório, se a instância de destino não tiver sido definida.

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

--enable (bool)

Ativar ou desativar o encaminhamento de registros. Obrigatório.

Exemplos

ibmcloud analytics-engine-v3 log-config update \
    --enable=true \
    --output json

ibmcloud analytics-engine-v3 log-config update \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --enable=true \
    --output json

Exemplo de saída

A saída é a seguinte:

{
  "components" : [ "spark-driver", "spark-executor" ],
  "log_server" : {
    "type" : "ibm-log-analysis"
  },
  "enable" : true
}

`ibmcloud analytics-engine-v3 log-config show`

Recupera a configuração de registro de uma determinada instância do site Analytics Engine.

Observação: Prejudicado. Em vez disso, use show do grupo de comandos log-forwarding-config.

ibmcloud analytics-engine-v3 log-config show [--instance-id INSTANCE-ID]

Opções de comando

-i, --instance-id (string)

GUID da instância do serviço Analytics Engine para recuperar a configuração do registro. Quando especificado, ele substitui a ID da instância de destino, caso ela tenha sido definida. Obrigatório, se a instância de destino não tiver sido definida.

O valor deve corresponder à expressão regular /\u0008[0-9a-f]{8}\u0008-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-\u0008[0-9a-f]{12}\u0008/.

Exemplos

ibmcloud analytics-engine-v3 log-config show --output json

ibmcloud analytics-engine-v3 log-config show \
    --instance-id=e64c907a-e82f-46fd-addc-ccfafbd28b09 \
    --output json

Exemplo de saída

A saída é a seguinte:

{
  "components" : [ "spark-driver", "spark-executor" ],
  "log_server" : {
    "type" : "ibm-log-analysis"
  },
  "enable" : true
}

Exemplos de esquema

O exemplo de esquema a seguir representa os dados necessários para especificar a opção de comando. Esses exemplos ilustram a estrutura dos dados e incluem valores provisórios para o tipo de valor esperado. Ao executar um comando, substitua esses valores pelos valores que se aplicam ao seu ambiente, conforme apropriado.

Tempo de execução

O exemplo a seguir mostra o formato do objeto Runtime.

{
  "spark_version" : "3.3"
}