Spark랩에서 Spark 애플리케이션 모니터링 및 디버깅

에 적용됩니다: 스파크 엔진 글루텐 가속 스파크 엔진

Spark랩에서 Spark 애플리케이션 디버깅

Spark랩은 사용자가 제출하는 Spark 애플리케이션을 디버깅하는 데 도움을 줍니다. 이렇게 하려면 다음을 수행하십시오.

  1. Visual Studio Code > 확장으로 이동하십시오.
  2. 코드를 디버그할 디버깅 도구를 찾아보십시오. 각 Spark 애플리케이션 유형 (Python, Java, Scalar, R) 에 대해 디버그할 공식 확장을 선택해야 합니다. 예를 들어, Python 언어로 작성된 Spark 애플리케이션을 제출하는 경우 Python 확장을 설치하십시오.
  3. 디버깅하려는 파일을 열고 디버깅 도구 확장을 설치한 후 Visual Studio Code 에서 실행 및 디버그 를 클릭하십시오. Visual Studio Code 창은 Spark 애플리케이션 코드의 언어 및 기본 구성에 대한 프롬프트를 표시합니다.
  4. 언어를 선택하고 Spark 애플리케이션 유형 (Python, Java, Scalar, R) 을 기반으로 기본 구성을 제공하십시오.
  5. 실행 및 디버그를 클릭하십시오. 디버깅 프로세스가 시작되고 터미널에서 결과를 볼 수 있습니다.

스파크 랩에서 Spark UI 접속하기

Spark 사용자 인터페이스 (UI) 를 사용하면 Spark 애플리케이션 실행의 다양한 측면을 모니터할 수 있습니다. 자세한 정보는 Spark 사용자 인터페이스를 참조하십시오. Spark UI 을 노출하여 스파크 랩에서 액세스합니다. 이렇게 하려면 다음을 수행하십시오.

  1. Visual Studio Code > 터미널 로 이동하여 포트 탭을 선택하십시오.

  2. 포트 전달을 클릭합니다. 4040 을 입력하고 Enter 키를 누릅니다. 이제 Spark 랩에서 Spark UI 에 액세스할 수 있습니다. 웹 브라우저를 열고 localhost:4040 형식의 URL 을 입력합니다. Spark UI 이 열리면 Spark 실험실에서 Spark 애플리케이션을 검사할 수 있습니다. 다음 세부 정보를 볼 수 있습니다 :

    • 이벤트 타임라인 은 타임라인 및 이벤트의 그래픽 보기를 표시합니다.
    • 서로 다른 실행 단계, 사용된 스토리지, Spark 환경 및 실행 프로그램 (메모리 및 드라이버) 세부사항입니다.