ライブラリー・セットの使用

ライブラリー・セットを作成した後、Sparkアプリケーションでそのライブラリー・セットを参照して取り込むことができます。 IBM Analytics EngineインスタンスでSparkアプリケーションを実行すると、ライブラリー・セットがインスタンス・ホームからロードされ、Sparkアプリケーションで使用可能になります。

ライブラリー・セットは、"ae.spark.librarysets"パラメーターを使用して、Sparkアプリケーションで参照されます。このパラメーターは、Sparkアプリケーション・サブミット・ペイロードの"conf"セクションにあります。

Sparkアプリケーションの実行依頼時にライブラリー・セットを参照するには、以下のようにします:

1. IAMトークンを取得します。 IAMアクセス・トークンの取得を参照してください。

2. 以下のcURLコマンドを発行します:

   curl -X POST https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_id>/spark_applications --header "Authorization: Bearer <IAM token>" -H "content-type: application/json"  -d @submit-spark-app.json
   

   submit-spark-app.jsonの例:

   {
     "application_details": {
     "application": "cos://<bucket-name>.<cos-name>/my_spark_application.py",
     "arguments": ["arg1", "arg2"],
     "conf": {
       "spark.hadoop.fs.cos.<cos-name>.endpoint":"https://s3.us-south.cloud-object-storage.appdomain.cloud",
       "spark.hadoop.fs.cos.<cos-name>.access.key":"<access_key>",
       "spark.hadoop.fs.cos.<cos-name>.secret.key":"<secret_key>",
       "ae.spark.librarysets":"my_library_set"
       }
   }
   }
   

   現在、"ae.spark.librarysets"属性の下でSparkアプリケーションの実行依頼中に参照できるライブラリー・セットは1つのみです。

   アプリケーションが受け入れられると、以下のような応答を受け取ります:

   {
     "id": "87e63712-a823-4aa1-9f6e-7291d4e5a113",
     "state": "accepted"
   }
   

3. アプリケーション状況REST APIを呼び出して、アプリケーションの状況を追跡します。 アプリケーションの状況の取得を参照してください。