Utilisation d'un ensemble de bibliothèques

Une fois que vous avez créé un jeu de bibliothèque, vous pouvez y faire référence et le consommer dans vos applications Spark. Lorsque vous exécutez votre application Spark dans l'instance IBM Analytics Engine, l'ensemble de bibliothèques est chargé à partir du répertoire de base de l'instance et il est mis à la disposition de l'application Spark.

Un ensemble de bibliothèques est référencé dans une application Spark à l'aide du paramètre "ae.spark.librarysets" dans la section "conf" du contenu de soumission d'application Spark.

Pour faire référence à une bibliothèque définie lors de la soumission d'une application Spark :

1. Obtenez le jeton IAM. Voir Extraction des jetons d'accès IAM.

2. Exécutez la commande cURL suivante :

   curl -X POST https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_id>/spark_applications --header "Authorization: Bearer <IAM token>" -H "content-type: application/json"  -d @submit-spark-app.json
   

   Exemple pour submit-spark-app.json :

   {
     "application_details": {
     "application": "cos://<bucket-name>.<cos-name>/my_spark_application.py",
     "arguments": ["arg1", "arg2"],
     "conf": {
       "spark.hadoop.fs.cos.<cos-name>.endpoint":"https://s3.us-south.cloud-object-storage.appdomain.cloud",
       "spark.hadoop.fs.cos.<cos-name>.access.key":"<access_key>",
       "spark.hadoop.fs.cos.<cos-name>.secret.key":"<secret_key>",
       "ae.spark.librarysets":"my_library_set"
       }
   }
   }
   

   Actuellement, un seul ensemble de bibliothèques peut être référencé lors de la soumission de l'application Spark sous l'attribut "ae.spark.librarysets".

   Si l'application est acceptée, vous recevez une réponse de ce type :

   {
     "id": "87e63712-a823-4aa1-9f6e-7291d4e5a113",
     "state": "accepted"
   }
   

3. Suivez le statut de l'application en appelant l'API REST de statut d'application. Voir Obtenir le statut d'une application.