Bibliotheksgruppe verwenden

Nachdem Sie eine Bibliotheksgruppe erstellt haben, können Sie sie in Ihren Spark-Anwendungen referenzieren und nutzen. Wenn Sie Ihre Spark-Anwendung in der IBM Analytics Engine -Instanz ausführen, wird die Bibliotheksgruppe aus dem Ausgangsverzeichnis der Instanz geladen und der Spark-Anwendung zur Verfügung gestellt.

Eine Bibliotheksgruppe wird in einer Spark-Anwendung mit dem Parameter "ae.spark.librarysets"im Abschnitt "conf"der Übergabenutzdaten der Spark-Anwendung referenziert.

Gehen Sie wie folgt vor, um beim Übergeben einer Spark-Anwendung auf eine Bibliotheksgruppe zu verweisen:

1. Rufen Sie das IAM-Token ab. Siehe IAM-Zugriffstoken abrufen.

2. Setzen Sie den folgenden cURL-Befehl ab:

   curl -X POST https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_id>/spark_applications --header "Authorization: Bearer <IAM token>" -H "content-type: application/json"  -d @submit-spark-app.json
   

   Beispiel für submit-spark-app.json:

   {
     "application_details": {
     "application": "cos://<bucket-name>.<cos-name>/my_spark_application.py",
     "arguments": ["arg1", "arg2"],
     "conf": {
       "spark.hadoop.fs.cos.<cos-name>.endpoint":"https://s3.us-south.cloud-object-storage.appdomain.cloud",
       "spark.hadoop.fs.cos.<cos-name>.access.key":"<access_key>",
       "spark.hadoop.fs.cos.<cos-name>.secret.key":"<secret_key>",
       "ae.spark.librarysets":"my_library_set"
       }
   }
   }
   

   Derzeit kann nur eine Bibliotheksgruppe während der Übergabe der Spark-Anwendung unter dem Attribut "ae.spark.librarysets"referenziert werden.

   Wenn die Anwendung akzeptiert wird, erhalten Sie eine Antwort wie die folgende:

   {
     "id": "87e63712-a823-4aa1-9f6e-7291d4e5a113",
     "state": "accepted"
   }
   

3. Verfolgen Sie den Status der Anwendung, indem Sie die REST-API für Anwendungsstatus aufrufen. Siehe Status einer Anwendung abrufen.