Utilizzo di una serie di librerie

Dopo aver creato una serie di librerie, è possibile fare riferimento e consumare nelle applicazioni Spark. Quando si esegue l'applicazione Spark nell'istanza IBM Analytics Engine, la serie di librerie viene caricata dalla home dell'istanza ed è resa disponibile all'applicazione Spark.

Si fa riferimento ad una serie di librerie in un'applicazione Spark utilizzando il parametro "ae.spark.librarysets" nella sezione "conf" del payload di inoltro delle applicazioni Spark.

Per fare riferimento ad una libreria impostata quando si inoltra un'applicazione Spark:

1. Ottieni il token IAM. Vedere Richiamare token di accesso IAM.

2. Immettere il seguente comando cURL:

   curl -X POST https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_id>/spark_applications --header "Authorization: Bearer <IAM token>" -H "content-type: application/json"  -d @submit-spark-app.json
   

   Esempio per submit-spark-app.json:

   {
     "application_details": {
     "application": "cos://<bucket-name>.<cos-name>/my_spark_application.py",
     "arguments": ["arg1", "arg2"],
     "conf": {
       "spark.hadoop.fs.cos.<cos-name>.endpoint":"https://s3.us-south.cloud-object-storage.appdomain.cloud",
       "spark.hadoop.fs.cos.<cos-name>.access.key":"<access_key>",
       "spark.hadoop.fs.cos.<cos-name>.secret.key":"<secret_key>",
       "ae.spark.librarysets":"my_library_set"
       }
   }
   }
   

   Attualmente, è possibile fare riferimento ad una sola libreria impostata durante l'inoltro dell'applicazione Spark sotto l'attributo "ae.spark.librarysets".

   Se l'applicazione viene accettata riceverai una risposta come la seguente:

   {
     "id": "87e63712-a823-4aa1-9f6e-7291d4e5a113",
     "state": "accepted"
   }
   

3. Tracciare lo stato dell'applicazione richiamando lo stato dell'applicazione REST API. Consultare Ottieni lo stato di un'applicazione.