Usando um conjunto de bibliotecas

Depois de ter criado um conjunto de bibliotecas, você poderá consultá-lo e consumi-lo em aplicativos Spark. Ao executar o aplicativo Spark na instância IBM Analytics Engine, o conjunto de bibliotecas é carregado do início da instância e disponibilizado para o aplicativo Spark.

Um conjunto de bibliotecas é referenciado em um aplicativo Spark usando o parâmetro "ae.spark.librarysets" na seção "conf" da carga útil de envio do aplicativo Spark.

Para referenciar um conjunto de bibliotecas ao enviar um aplicativo Spark:

1. Obtenha o token do IAM. Consulte Recuperando tokens de acesso IAM.

2. Emita o comando cURL a seguir:

   curl -X POST https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_id>/spark_applications --header "Authorization: Bearer <IAM token>" -H "content-type: application/json"  -d @submit-spark-app.json
   

   Exemplo para submit-spark-app.json:

   {
     "application_details": {
     "application": "cos://<bucket-name>.<cos-name>/my_spark_application.py",
     "arguments": ["arg1", "arg2"],
     "conf": {
       "spark.hadoop.fs.cos.<cos-name>.endpoint":"https://s3.us-south.cloud-object-storage.appdomain.cloud",
       "spark.hadoop.fs.cos.<cos-name>.access.key":"<access_key>",
       "spark.hadoop.fs.cos.<cos-name>.secret.key":"<secret_key>",
       "ae.spark.librarysets":"my_library_set"
       }
   }
   }
   

   Atualmente, apenas um conjunto de bibliotecas pode ser referenciado durante o envio do aplicativo Spark sob o atributo "ae.spark.librarysets".

   Se o aplicativo for aceito, você receberá uma resposta como a seguinte:

   {
     "id": "87e63712-a823-4aa1-9f6e-7291d4e5a113",
     "state": "accepted"
   }
   

3. Controle o status do aplicativo chamando a API de REST de status do aplicativo. Consulte Obter o status de um aplicativo.