라이브러리 세트 사용

라이브러리 세트를 작성한 후에는 Spark 애플리케이션에서 이 라이브러리 세트를 참조하여 사용할 수 있습니다. IBM Analytics Engine 인스턴스에서 Spark 애플리케이션을 실행할 때, 라이브러리 세트가 인스턴스 홈에서 로드되고 Spark 애플리케이션에서 사용 가능하게 됩니다.

Spark 애플리케이션 제출 페이로드의 "conf" 섹션에 있는 "ae.spark.librarysets" 매개변수를 사용하여 Spark 애플리케이션에서 라이브러리 세트를 참조합니다.

Spark 애플리케이션을 제출할 때 라이브러리 세트를 참조하려면 다음을 수행하십시오.

1. IAM 토큰을 가져오십시오. IAM 액세스 토큰 검색을 참조하십시오.

2. 다음 cURL 명령을 실행하십시오.

   curl -X POST https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_id>/spark_applications --header "Authorization: Bearer <IAM token>" -H "content-type: application/json"  -d @submit-spark-app.json
   

   submit-spark-app.json의 예:

   {
     "application_details": {
     "application": "cos://<bucket-name>.<cos-name>/my_spark_application.py",
     "arguments": ["arg1", "arg2"],
     "conf": {
       "spark.hadoop.fs.cos.<cos-name>.endpoint":"https://s3.us-south.cloud-object-storage.appdomain.cloud",
       "spark.hadoop.fs.cos.<cos-name>.access.key":"<access_key>",
       "spark.hadoop.fs.cos.<cos-name>.secret.key":"<secret_key>",
       "ae.spark.librarysets":"my_library_set"
       }
   }
   }
   

   현재 "ae.spark.librarysets" 속성에 있는 Spark 애플리케이션 제출 중에 하나의 라이브러리 세트만 참조할 수 있습니다.

   애플리케이션이 승인되면 다음과 같은 응답이 수신됩니다.

   {
     "id": "87e63712-a823-4aa1-9f6e-7291d4e5a113",
     "state": "accepted"
   }
   

3. 애플리케이션 상태 REST API를 호출하여 애플리케이션의 상태를 추적하십시오. 애플리케이션의 상태 가져오기를 참조하십시오.