사용자 정의 개요

기본적으로 프로비저닝된 내용 이상으로 애플리케이션 요구에 맞게 서버리스 인스턴스를 사용자 정의할 수 있습니다.

예를 들어, 사용자 정의 분석 써드파티 라이브러리를 설치하거나 일부 클러스터 구성(예: Spark 기본 구성)을 세부 조정할 수 있습니다.

라이프사이클의 모든 지점에서 인스턴스를 사용자 정의할 수 있습니다. 사용자 정의는 사용자 정의를 추가한 후에 제출되는 애플리케이션에만 적용됩니다. 현재 실행 중인 애플리케이션에는 적용되지 않습니다.

사용자 정의 옵션

다음을 수행하여 인스턴스를 사용자 정의할 수 있습니다.

  • 인스턴스에서 실행되는 모든 Spark 애플리케이션이 상속하는 구성 값 지정
  • Spark 애플리케이션에서 Python, R, Scala 또는 사용자 정의 라이브러리를 사용할 수 있도록 설정

인스턴스를 작성할 때 다음을 수행할 수 있습니다.

  • Apache Spark 구성에서 지원하는 구성 특성 및 환경 변수의 기본값을 지정합니다. 인스턴스 레벨에서 저장되고 인스턴스에서 실행되는 모든 Spark 애플리케이션에 전달되는 이름-값 쌍으로 구성 특성 및 환경 변수를 지정할 수 있습니다. 이러한 기본 구성 매개변수는 Spark 애플리케이션을 제출할 때 전달되는 페이로드를 단순화할 수 있습니다. 또한 Spark 애플리케이션이 제출될 때 이 값을 대체할 수 있습니다.

    기본 Spark 구성 및 환경 변수 목록은 Spark 구성을 참조하십시오.

  • 인스턴스 작성 후 Spark 애플리케이션에 필요한 라이브러리를 사용하여 인스턴스를 사용자 정의하십시오. 인스턴스에서 실행되는 모든 Spark 애플리케이션에서 사용할 수 있도록 모든 라이브러리를 패키징하는 라이브러리 세트를 작성한 후 Spark 애플리케이션이 제출될 때 이 정의된 라이브러리 세트를 참조할 수 있습니다.

    라이브러리 세트를 작성하려면 라이브러리 세트 작성을 참조하십시오.

참고:

  • 사용자 정의 라이브러리 세트의 최대 크기 한계는 2GB입니다.
  • Spark 애플리케이션의 시작 시간 또는 추가 실행 프로그램이 자동 스케일링 시나리오에서 추가되는 데 걸리는 시간은 사용자 정의 라이브러리 세트의 크기에 비례합니다. 따라서 특정 애플리케이션에 필요한 파일로만 라이브러리 세트를 제한하는 것이 좋습니다. 다른 애플리케이션에 다른 파일 세트가 필요한 경우 다른 라이브러리 세트를 사용하는 것이 좋습니다.