Spark 쿼리 서버 관리

적용 대상: 스파크 엔진

Spark 쿼리 서버는 Spark Hive 기반 Thrift 서버를 시작할 수 있게 하여, Spark 엔진에서 모든 레이크하우스 데이터를 수집, 저장, 쿼리 및 분석할 수 있는 인터페이스를 제공합니다.

Spark 쿼리 서버 기능은 다양한 방법으로 활용할 수 있습니다( 통합을 참조하세요).

시작하기 전에

  • 설치 watsonx.data.
  • watsonx.data 에서 네이티브 Spark 엔진을 프로비저닝합니다.

Spark 쿼리 서버 만들기

Spark 엔진이 dbt 도구와 통합되어 쿼리 엔진으로 작동하려면 Spark 쿼리 서버를 만들어야 합니다.

  1. 인스턴스에 watsonx.data 로그인하십시오.

  2. 인프라 관리자로 이동합니다. 스파크 엔진을 클릭합니다.

  3. 쿼리 서버 탭을 클릭하십시오.

  4. 쿼리 서버 생성을 클릭하십시오. 쿼리 서버 만들기 페이지가 열립니다.

  5. 다음과 같은 세부사항을 제공하십시오.

    • 이름: 이름: 생성하는 쿼리 서버의 이름을 입력합니다.

    • 버전 2.3 이상을 사용할 때는 다음 정보를 watsonx.data 제공해야 합니다.

      용량 유형 을 선택하십시오. 전용 (구성된 경우) 또는 온디맨드를 선택할 수 있습니다. 목록에서 용량을 선택하고 드라이버 및 실행기에 대한 CPU 코어 및 메모리 세부 정보를 지정하십시오.

    • 드라이버 및 실행기 코어와 메모리. 버전보다 2.3 이전 버전을 사용하는 경우 watsonx.data 이 필드를 지정하십시오.

    • 사용자 아이디: watsonx.data 로그인 사용자 아이디입니다.

    • API 키: 귀하의 API 키. API 키를 생성하려면 API 키 생성을 참조하세요.

    • 구성 및 환경 변수와 그 값을 지정하십시오.

  6. 작성을 클릭하십시오. 쿼리 서버가 생성되고 수락됨 상태가 됩니다. 상태가 활성화되면 서버 사용을 시작할 수 있습니다.

쿼리 서버의 세부 정보(예: 이름, ID, 상태, 서버 시작 시간 및 중지 시간, 연결 상태 URL 등)를 확인할 수 있습니다.

쿼리 서버 연결 세부 정보 검색

Dbt 도구에서 프로필 파일을 구성하려면 쿼리 서버 연결 세부 정보를 저장해야 합니다.

  1. 쿼리 서버 탭에서 활성 상태인 쿼리 서버를 선택합니다.

  2. 선택한 쿼리 서버에 대한 오버플로 메뉴를 클릭합니다.

  3. 연결 세부 정보 보기를 클릭하세요. 프로필 구성이 포함된 연결 세부 정보 페이지가 열립니다.

  4. 연결 세부 정보를 복사합니다.

    또는 연결 정보 페이지에서 연결 세부 정보를 검색할 수 있습니다. 탐색 메뉴에서 빌드 도구( ConfigurationsConnectioninformationData DBT)로 이동하십시오.

Spark 쿼리 서버 중지하기

  1. 쿼리 서버 탭에서 쿼리 서버의 위도를 볼 수 있습니다.
  2. 선택한 쿼리 서버에 대한 오버플로 메뉴를 클릭합니다.
  3. 중지를 클릭하세요.

지원되는 통합