Uso de un conjunto de bibliotecas

Una vez creado un conjunto de bibliotecas, se puede hacer referencia a él y consumirlo en las aplicaciones de Spark. Cuando ejecuta la aplicación de Spark en la instancia de IBM Analytics Engine, el conjunto de bibliotecas se carga desde el inicio de la instancia y se pone a disposición de la aplicación de Spark.

Se hace referencia a un conjunto de bibliotecas en una aplicación de Spark mediante el parámetro "ae.spark.librarysets" en la sección "conf" de la carga útil de envío de la aplicación de Spark.

Para hacer referencia a un conjunto de bibliotecas al enviar una aplicación de Spark:

1. Obtenga la señal de IAM. Consulte Recuperación de señales de acceso de IAM.

2. Emita el siguiente mandato cURL:

   curl -X POST https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_id>/spark_applications --header "Authorization: Bearer <IAM token>" -H "content-type: application/json"  -d @submit-spark-app.json
   

   Ejemplo de submit-spark-app.json:

   {
     "application_details": {
     "application": "cos://<bucket-name>.<cos-name>/my_spark_application.py",
     "arguments": ["arg1", "arg2"],
     "conf": {
       "spark.hadoop.fs.cos.<cos-name>.endpoint":"https://s3.us-south.cloud-object-storage.appdomain.cloud",
       "spark.hadoop.fs.cos.<cos-name>.access.key":"<access_key>",
       "spark.hadoop.fs.cos.<cos-name>.secret.key":"<secret_key>",
       "ae.spark.librarysets":"my_library_set"
       }
   }
   }
   

   Actualmente, solo se puede hacer referencia a un conjunto de bibliotecas durante el envío de la aplicación de Spark bajo el atributo "ae.spark.librarysets".

   Si la aplicación se acepta, recibirá una respuesta similar a la siguiente:

   {
     "id": "87e63712-a823-4aa1-9f6e-7291d4e5a113",
     "state": "accepted"
   }
   

3. Realice un seguimiento del estado de la aplicación invocando la API REST de estado de aplicación. Consulte Obtener el estado de una aplicación.