수집 작업을 위한 Spark 로그에 액세스하기

이 항목에서는 제출된 수집 작업과 관련된 Spark 로그를 IBM® watsonx.data 내에서 찾아서 보는 데 필요한 단계를 설명합니다. 이러한 로그에 액세스하면 실행 세부 정보, 수집 프로세스와 관련된 잠재적 오류 메시지, 수집 작업 문제 해결에 대한 귀중한 인사이트를 얻을 수 있습니다.

시작하기 전에

실패 또는 완료 상태의 경우, 수집 로그 세부 정보를 얻으려면 Spark 기록 서버를 시작해야 합니다. 자세한 내용은 스파크 기록 서버에 액세스하기 를 참조하세요.

프로시저

  1. watsonx.data 콘솔에 로그인하십시오.

  2. 탐색 메뉴에서 데이터 관리자를 선택하고 섭취 기록 탭을 클릭합니다.

  3. 특정 작업 로그를 클릭하면 해당 수집 작업의 세부 정보 및 로그를 확인할 수 있습니다.

  4. Spark 애플리케이션 기록을 클릭하면 다음과 같이 수집 작업의 상태에 따른 로그 세부 정보를 확인할 수 있습니다:

    시작 중입니다: 수집 작업이 시작 상태인 경우, Spark 애플리케이션 기록이 비활성화됩니다.

    실행 중: 작업 상태가 실행 중이면 일반적으로 Spark 애플리케이션 기록을 클릭하면 Spark UI 이동합니다. 이 웹 인터페이스를 통해 수집 작업 진행 상황, 리소스 사용량 및 기타 세부 정보를 실시간으로 모니터링할 수 있습니다. 이 Spark UI 정보는 작업이 실행 중 상태일 때만 일시적으로 사용할 수 있습니다.

    실패 또는 완료: 작업 상태가 실패 또는 완료인 경우 Spark 애플리케이션 기록을 클릭하면 Spark 기록 UI로 이동합니다. 이 인터페이스는 타임라인, 리소스 사용량, 오류 메시지 등 수집 작업 실행에 대한 요약 정보를 제공합니다.

    취소됨: 취소됨 인 경우 스파크 애플리케이션 기록 이 비활성화됩니다.