Credenciais e permissões necessárias

Antes de poder enviar um aplicativo Spark, é necessário obter credenciais de autenticação e configurar as permissões corretas na instância serverless Analytics Engine.

1. Você precisa do GUID da instância de serviço que anotou ao provisionar a instância. Se não anotou o GUID, consulte Recuperando o GUID de uma instância serverless.
2. Você deve ter as permissões corretas para executar as operações necessárias. Consulte Permissões de usuário.
3. As APIs de REST do aplicativo Spark usam autenticação e autorização baseadas em IAM.

Enviando um aplicativo Spark

O Analytics Engine Serverless fornece uma interface REST para enviar aplicativos Spark. A carga útil passada para a API de REST é mapeada para vários argumentos da linha de comandos suportados pelo comando spark-submit. Consulte Parâmetros para envio de aplicativos Spark para obter mais detalhes.

Ao enviar um aplicativo Spark, é necessário referenciar o arquivo do aplicativo. Para ajudá-lo a começar imediatamente e aprender a usar as APIs do Spark serverless AE, esta seção começa com um exemplo que usa arquivos de aplicativo Spark pré-empacotados que são referenciados na carga útil da API do aplicativo de envio. A seção subsequente mostra como executar aplicativos que são armazenados em um depósito Object Storage.

Passando a configuração do Spark para um aplicativo

É possível usar a seção "conf" na carga útil para passar a configuração do aplicativo Spark. Se você especificou configurações de Spark em nível de instância, elas serão herdadas pelos aplicativos Spark executados na instância, mas poderão ser substituídas no momento em que um aplicativo Spark for enviado incluindo a seção "conf" na carga útil.

Consulte Configuração do Spark em Analytics Engine Serverless.

Parâmetros para envio de aplicativos Spark

A tabela a seguir lista o mapeamento entre os parâmetros de comando spark-submit e seu equivalente a ser passado para a seção "application_details" da carga útil da API de REST de envio do aplicativo Spark.

Obtendo o estado de um aplicativo enviado

Para obter o estado de um aplicativo enviado, insira:

curl -X GET https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_id>/spark_applications/<application_id>/state --header "Authorization: Bearer $token"

Resposta de amostra:

{
    "id": "a9a6f328-56d8-4923-8042-97652fff2af3",
    "state": "finished",
    "start_time": "2020-11-25T14:14:31.311+0000",
    "finish_time": "2020-11-25T14:30:43.625+0000"
}

Obtendo os detalhes de um aplicativo enviado

Para obter os detalhes de um aplicativo enviado, insira:

curl -X GET https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_id>/spark_applications/<application_id> --header "Authorization: Bearer $token"

Resposta de amostra:

{
  "id": "ecd608d5-xxxx-xxxx-xxxx-08e27456xxxx",
  "spark_application_id": "null",
  "application_details": {
      "application": "cos://sbn-test-bucket-serverless-1.mycosservice/my_spark_application.py",
      "conf": {
          "spark.hadoop.fs.cos.mycosservice.endpoint": "https://s3.direct.us-south.cloud-object-storage.appdomain.cloud",
          "spark.hadoop.fs.cos.mycosservice.access.key": "xxxx",
          "spark.app.name": "MySparkApp",
          "spark.hadoop.fs.cos.mycosservice.secret.key": "xxxx"
      },
      "arguments": [
          "arg1",
          "arg2"
      ]
  },
  "state": "failed",
    "submission_time": "2021-11-30T18:29:21+0000"
}

Parando um aplicativo enviado

Para interromper um aplicativo enviado, execute o seguinte:

curl -X DELETE https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_id>/spark_applications/<application_id> --header "Authorization: Bearer $token"

Retornará 204 – No Content, se a exclusão for bem-sucedida. O estado do aplicativo é configurado como INTERROMPIDO.

Esta API é idempotente. Se você tentar parar um aplicativo já concluído ou parado, ele ainda retornará 204.

É possível usar esta API para interromper um aplicativo nos estados a seguir: accepted, waiting, submitted e running.

Passando a versão Spark do tempo de execução ao enviar um aplicativo

Você pode usar a seção "runtime" sob "application_details" no script JSON de carga útil para passar a versão do tempo de execução do Spark ao enviar um aplicativo. A versão Spark passada através da seção "runtime" substitui a versão padrão do Spark de tempo de execução no nível da instância. Para saber mais sobre a versão de tempo de execução padrão, consulte Tempo de execução padrão do Spark.

Exemplo da seção " "runtime" para executar um aplicativo no Spark 3.4:

{
    "application_details": {
        "application": "/opt/ibm/spark/examples/src/main/python/wordcount.py",
        "arguments": [
            "/opt/ibm/spark/examples/src/main/resources/people.txt"
            ],
        "runtime": {
            "spark_version": "3.4"
        }
    }
}

Usando variáveis de ambiente

Ao enviar um aplicativo, você pode usar a seção "env" sob "application_details" no script JSON de carga útil para transmitir informações específicas do ambiente, o que determina o resultado do aplicativo, por exemplo os conjuntos de dados para usar ou quaisquer valores secretos.

Exemplo da seção "env" na carga útil:

{
    "application_details": {
        "application": "cos://<application-bucket-name>.<cos-reference-name>/my_spark_application.py",
        "arguments": ["arg1", "arg2"],
        "conf": {
            "spark.hadoop.fs.cos.<cos-reference-name>.endpoint": "https://s3.direct.us-south.cloud-object-storage.appdomain.cloud",
            "spark.hadoop.fs.cos.<cos-reference-name>.access.key": "<access_key>",
            "spark.hadoop.fs.cos.<cos-reference-name>.secret.key": "<secret_key>",
            "spark.app.name": "MySparkApp"
            },
        "env": {
            "key1": "value1",
            "key2": "value2",
            "key3": "value3"
            }
        }
}

As variáveis de ambiente definidas usando "application_details" > "env" conforme descrito aqui, serão acessíveis tanto para o código executor quanto para o driver.

As variáveis de ambiente podem ser definidas usando a configuração "spark.executorEnv.[EnvironmentVariableName]" (application_details> env) também. Eles, no entanto, serão acessíveis apenas para as tarefas em execução no executor e não no motorista.

Os nomes das variáveis de ambiente no Shell consistem em letras maiúsculas, dígitos e o caractere ( '_' ) e não começam com um dígito.

Exemplo de aplicação pyspark que acessa as variáveis de ambiente que são passadas usando a chamada "os.getenv".

from pyspark.sql.types import IntegerType
import os

def init_spark():
  spark = SparkSession.builder.appName("spark-env-test").getOrCreate()
  sc = spark.sparkContext
  return spark,sc

def returnExecutorEnv(x):
    # Attempt to access environment variable from a task running on executor
    return os.getenv("TESTENV1")

def main():
  spark,sc = init_spark()

  # dummy dataframe
  df=spark.createDataFrame([("1","one")])
  df.show()
  df.rdd.map(lambda x: (x[0],returnExecutorEnv(x[0]))).toDF().show()
  # Attempt to access environment variable on driver
  print (os.getenv("TESTENV1"))
  spark.stop()

if __name__ == '__main__':
  main()

Executar um aplicativo Spark com versão de idioma não padrão

O tempo de execução do Spark suporta o aplicativo Spark gravado nos idiomas a seguir:

• Escala
• Python
• R

Uma versão de tempo de execução do Spark é fornecida com a versão de idioma de tempo de execução padrão A IBM estende o suporte para novas versões de idioma e remove a versão de idioma existente para manter o tempo de execução livre de qualquer vulnerabilidade de segurança. O sistema também fornece tempo de acomodação para fazer a transição de suas cargas de trabalho quando houver novas versões de idioma. É possível testar sua carga de trabalho com uma versão de idioma passando uma variável de ambiente que aponte para a versão de idioma do aplicativo.

Código Python de amostra:

 {
	"application_details": {
		"application": "/opt/ibm/spark/examples/src/main/python/wordcount.py",
		"arguments": [
			"/opt/ibm/spark/examples/src/main/resources/people.txt"
		],
		"env": {
			"RUNTIME_PYTHON_ENV": "python310"
		}
	}
}

Código R de amostra:

{
	"application_details": {
		"env": {
			"RUNTIME_R_ENV": "r42"
		},
		"application": "/opt/ibm/spark/examples/src/main/r/dataframe.R"
	}
}

Saiba mais

Ao gerenciar seus aplicativos Spark, siga o recomendado Melhores práticas.