IBM Cloud Docs
Spark 사용자 인터페이스

Spark 사용자 인터페이스

스파크 사용자 인터페이스( Spark UI )는 실행 중인 스파크 애플리케이션의 다양한 측면을 추적하는 데 도움이 됩니다.

아래 목록에는 몇 가지 예가 포함되어 있습니다.

  • 현재 실행 중인 스테이지
  • 스테이지의 작업 수
  • 장기 실행 스테이지의 이유
  • 단계에서의 스트랭글러 작업
  • 애플리케이션의 실행 프로그램이 최적으로 사용되는지 여부
  • 드라이버 및 실행 프로그램의 메모리 및 디스크 사용 검사

세부사항은 Spark-UI 문서 를 참조하십시오.

IBM Analytics Engine 는 현재 실행 중인 스파크 애플리케이션에 대해서만 Spark UI 를 표시합니다. 완료된 신청서는 Spark UI 에 액세스할 수 없습니다.

Spark 히스토리 서버를 사용하여 완료된 Spark 애플리케이션의 실행을 검사하십시오. Spark 히스토리 서버에 액세스하려면 Access Spark 히스토리 서버 를 참조하십시오.

액세스 Spark UI

실행 중인 스파크 애플리케이션의 Spark UI 엔드포인트는 IBM Analytics Engine 인스턴스의 서비스 세부 정보 페이지에서 액세스할 수 있습니다.

스파크 이벤트와 함께 로그가 보존되지 않으므로 스파크 기록 서버 UI의 스테이지 및 실행기 탭 아래의 로그 링크가 작동하지 않습니다. 작업 및 실행자 로그를 검토하려면 플랫폼 로깅을 사용 설정하세요. 세부사항은 로그 구성 및 보기를 참조하십시오.

다음 이미지는 실행 중인 애플리케이션의 Spark UI 링크가 있는 애플리케이션 탭의 예를 보여줍니다.

실행 중인 애플리케이션의 Spark-ui에 대한 잉크를 보여줍니다.
는 IBM Analytics Engine 서비스 세부 정보 페이지의 애플리케이션 탭입니다.

실행 중인 Spark 애플리케이션의 Spark UI 엔드포인트는 다음 IBM Analytics Engine REST API 엔드포인트 또는 해당 SDK 메서드를 호출하여 얻을 수도 있습니다:

Spark UI 엔드포인트의 샘플 URL 템플릿은 다음과 같습니다:

https://spark-console.{REGION}.ae.cloud.ibm.com/v3/analytics_engines/{INSTANCE_ID}/spark_applications/{APPLICATION_ID}/spark_ui

매개변수 값:

  • REGION: 댈러스 지역의 인스턴스에서 제출된 애플리케이션의 경우 REGION을 us-south 로 대체하고 프랑크푸르트 지역의 인스턴스에서 제출된 애플리케이션의 경우 엔드포인트의 REGION을 eu-de 로 대체합니다.
  • INSTANCE_ID: 애플리케이션이 실행 중인 IBM Analytics Engine 인스턴스의 식별자입니다.
  • APPLICATION_ID: Spark UI 에 액세스하는 애플리케이션의 식별자입니다.

Spark UI REST API에 액세스하기

Web UI, Spark UI API도 프로그래밍 방식으로 사용할 수 있도록 노출됩니다.

예를 들어, 다음을 입력합니다.

curl  "https://spark-console.{REGION}.ae.cloud.ibm.com/v3/analytics_engines/{INSTANCE_ID}/spark_applications/{APPLICATION_ID}/spark_ui_api/v1/applications" --header "Authorization: Bearer {IAM TOKEN}"

매개변수 값:

  • REGION: 댈러스 지역의 인스턴스에서 제출된 애플리케이션의 경우 REGION을 us-south 로 대체하고 프랑크푸르트 지역의 인스턴스에서 제출된 애플리케이션의 경우 엔드포인트의 REGION을 eu-de 로 대체합니다.
  • INSTANCE_ID: 애플리케이션이 실행 중인 IBM Analytics Engine 인스턴스의 식별자입니다.
  • APPLICATION_ID: Spark UI 에 액세스하는 애플리케이션의 식별자입니다.
  • IAM 토큰: 서비스 인스턴스에 액세스하는 데 필요한 권한이 있는지 확인하십시오.

API에 대한 자세한 정보는 SparkUI 서버 REST API 문서 를 참조하십시오.