Spark 히스토리 서버 액세스

적용 대상: 스파크 엔진 글루텐 가속 스파크 엔진

Spark 히스토리 서버는 watsonx.data 인스턴스에서 실행 중이거나 완료된 Spark 애플리케이션의 상태를 확인할 수 있는 웹 UI입니다. Spark 애플리케이션의 다양한 단계를 수행하는 방법을 분석하려는 경우 Spark 히스토리 서버 UI에서 세부사항을 볼 수 있습니다.

1. watsonx.data 콘솔에 로그인하십시오.

2. 탐색 메뉴에서 인프라 관리자를 선택하십시오.

3. Spark 엔진의 이름을 클릭하십시오 (목록 보기 또는 토폴로지 보기에서). 엔진 정보 창이 열립니다.

4. Spark 히스토리 탭에서 히스토리 서버 시작을 클릭하십시오.

   버전 2.3 이상을 사용할 때는 다음 정보를 watsonx.data 제공해야 합니다.

   • 용량 유형을 선택하여 이력 세부 정보를 확인하십시오. 전용 (구성된 경우) 또는 온디맨드를 선택할 수 있습니다. 목록에서 용량을 선택하고 CPU 코어 및 메모리 세부 사항을 지정하십시오.

5. 기본적으로 Spark 히스토리 서버는 실행 중에 1개의 CPU 코어와 4개의 GiB 메모리를 사용합니다. Spark 히스토리 서버가 더 많은 자원을 사용하도록 하려면 서버에 필요한 코어 및 메모리 를 선택하고 시작을 클릭하십시오. 히스토리 서버가 시작되고 상태가 STARTED 으로 표시됩니다.

6. Spark 히스토리 보기를 클릭하십시오. 역사 서버 페이지가 열립니다.

7. 히스토리 서버 페이지에는 다음 기능이 포함되어 있습니다.

   • 완료된 Spark 애플리케이션의 목록과 각 애플리케이션의 애플리케이션 ID, 지속 기간 및 이벤트 로그와 같은 세부사항을 봅니다.
   • 이벤트 로그 필드에서 다운로드 링크를 클릭하여 각 애플리케이션에 대한 이벤트 로그 정보를 다운로드하십시오.
   • 개별 애플리케이션의 세부사항을 보려면 개별 애플리케이션 ID 링크를 클릭하십시오. Spark 작업 페이지가 열립니다. 이 페이지에는 여러 실행 단계, 사용된 스토리지, Spark 환경 및 실행 프로그램 (메모리 및 드라이버) 세부사항과 같은 세부사항이 표시됩니다.

   기록 서버는 구성 매개변수 spark.eventLog.logBlockUpdates.enabled 를 true로 설정한 상태에서 Spark 애플리케이션을 제출한 경우에만 자세한 저장소 이벤트를 표시합니다.

   스파크 이벤트와 함께 로그가 보존되지 않으므로 스파크 기록 서버 UI의 스테이지 및 실행자 탭 아래의 로그 링크가 작동하지 않습니다. 작업 및 실행자 로그를 검토하려면 플랫폼 로깅을 사용 설정하세요. 자세한 내용은 로그 보기를 참조하세요.

8. 더 이상 필요하지 않을 때 역사 서버를 중지하여 불필요한 리소스를 해제할 수 있습니다. 이를 수행하려면 Spark 히스토리 탭으로 이동하여 히스토리 서버 중지를 클릭하십시오. 확인 메시지에서 중지 를 클릭하십시오.