콘솔에서 스파크 애플리케이션 제출하기

적용 대상: 스파크 엔진 글루텐 가속 스파크 엔진

IBM Cloud 의 watsonx.data 콘솔에서 Python, Java, Scala 언어로 작성된 Spark 애플리케이션을 제출할 수 있습니다.

watsonx.data 콘솔에서 Spark 애플리케이션 세부 사항, 고려할 버전, 하드웨어 및 볼륨 세부 사항, Spark 환경 속성, Spark 구성을 지정할 수 있습니다.

전제조건

Spark 애플리케이션은 접근 가능한 저장소에 있어야 합니다.

프로시저

  1. 인스턴스에 watsonx.data 로그인하십시오. 인프라 관리자 페이지로 이동합니다.

  2. 목록 또는 토폴로지 보기에서 스파크 엔진의 이름을 클릭합니다. 엔진 정보 창이 열립니다.

  3. 응용 프로그램 탭 에서 응용 프로그램 만들기 버튼을 클릭합니다. Spark 제출 페이지가 열립니다.

    이 페이지에서, 스파크 신청서를 제출하는 방법에 따라 다음 탭 중 하나를 선택할 수 있습니다.

    • 접근 가능한 위치에 있는 경우, 신청서를 제출하려면 입력 탭을 선택하십시오. 다음 세부 사항을 설정합니다:

      구성 세부사항
      필드 설명
      애플리케이션 유형

      다음과 같은 옵션이 있습니다:

      • Python: 스파크 애플리케이션이 Python 언어로 작성된 경우, 이 옵션을 선택하십시오 option.
      • Java 또는 Scala: 스파크 애플리케이션이 Java 또는 Scala 언어로 작성된 경우, 이 옵션을 선택하십시오.
      애플리케이션 경로 애플리케이션의 경로를 지정하세요. 이는 필수 필드입니다.
      예: s3a://<application-bucket-name>/iceberg.py
      애플리케이션 이름 응용 프로그램의 이름을 지정하십시오.
      인수 추가 인수 버튼을 사용하여 응용 프로그램에 필요한 모든 인수를 지정하십시오.
      Spark 버전 애플리케이션 실행을 위한 스파크 버전을 입력하세요. 3.4 와 3.5 버전이 제공됩니다.
      Spark 구성 특성 스파크 속성을 쉼표로 구분된 키-값 쌍("<property_name>": "<property_value>")의 형태로 지정합니다. 각 속성에 대한 자세한 정보는 속성을 참고하세요.
      환경 속성 스파크 Spark 환경 속성을 키=값 쌍으로 지정합니다. 각 속성에 대한 자세한 정보는 환경 속성을 참고하세요.
      하드웨어 구성 작업 부하에 필요한 CPU 코어(드라이버와 실행기)와 메모리의 수를 지정합니다.
      자원 수용력 (조건부) 버전 2.3 (또는 이후 버전)을 사용하는 경우 이 watsonx.data 필드를 지정하십시오. 용량 유형(온디맨드 또는 전용)을 선택하고 드라이버, 실행기 메모리 값을 지정하십시오.
      종속성 애플리케이션 스크립트나 jar에 필요한 파일 경로와 패키지 이름을 지정합니다.
      페이로드에서 가져오기 페이로드 탭에서 페이로드를 이미 지정한 경우, 이 링크를 클릭하면 입력 탭의 모든 필드가 자동으로 가져와 제공됩니다.
    • 페이로드를 직접 작성하고자 하는 경우, 페이로드 탭을 선택하여 신청서를 제출하십시오.

      애플리케이션 페이로드 필드 에 Spark 엔진 애플리케이션 생성 REST API 엔드포인트가 수용할 수 있는 애플리케이션 페이로드 JSON을 지정합니다. 여기에서 페이로드를 직접 입력하거나, 입력 탭 에 있는 세부 정보에서 자동으로 JSON을 생성하려면 입력에서 가져오기 링크를 클릭하세요.

      애플리케이션이 Spark 엔진과 연결된 카탈로그의 데이터에 액세스하는 경우 watsonx.data 카탈로그에 액세스하여 Spark 애플리케이션 제출하기에서 지정한 페이로드를 사용할 수 있습니다.

  4. 신청서 제출을 클릭합니다. 애플리케이션이 성공적으로 제출되고 애플리케이션 탭 아래에 나열됩니다.