주요 기능

• 각 Spark 엔진은 여러 예약 풀(서로 다른 플레버를 가진 노드 풀)에 연결될 수 있습니다.
• 자동 확장 기능을 갖춘 전용 워크로드: 전용 환경은 사용자에게 자체 예약 컴퓨팅 용량을 제공하여 일관된 성능과 제어력을 보장합니다. 자동 확장 기능과 결합하면 사용자는 안정성과 효율성 모두에서 최상의 결과를 얻을 수 있습니다.
• 전용 용량과 온디맨드 용량 모두에 대해 할당량이 적용됩니다.
• 대규모 또는 장시간 작업 실행이 잦은 사용자의 경우 예측 가능한 성능을 위해 전용 용량을 할당하는 것이 권장됩니다.

서버리스 스파크

• 사용량 기반 비용 모델: 고객은 워크로드가 실행될 때 소비된 컴퓨팅 리소스에 대해서만 비용을 지불합니다. 사용량이 간헐적이거나 낮은 경우 유휴 용량에 대한 비용 지불을 피할 수 있습니다.
• 자동 확장: 서버리스 플랫폼은 수요에 따라 리소스를 자동으로 확장하거나 축소하여 수동 프로비저닝이나 용량 계획의 필요성을 제거합니다.
• 인프라 관리 불필요: 플랫폼이 패치, 확장 및 유지보수를 처리하여 운영 부담을 줄입니다.
• 빠른 가치 실현 시간: 고객은 사전 계획이나 인프라 규모 산정 없이 신속하게 배포할 수 있습니다.

전용 용량과 자동 확장 기능을 함께 사용할 때의 이점

• 안정적인 기본 성능: 전용 용량을 통해 장시간 실행되거나 지속적으로 사용되는 워크로드가 경쟁 없이 보장된 컴퓨팅 리소스를 확보할 수 있습니다.

• 피크 수요에 대한 효율적인 확장: 전용 베이스라인 위에 오토스케일링 계층을 구축하여 사용량이 급증할 때 자동으로 용량을 추가함으로써, 예상치 못한 급증 시에도 성능이 유지되도록 보장합니다.

• 지속적인 워크로드에 최적화된 비용 효율성: 고객은 지속적으로 의존하는 전용 리소스에 대해서만 비용을 지불하며, 자동 확장 기능은 필요한 경우에만 추가 용량을 확보함으로써 과잉 프로비저닝을 방지합니다.

• 운영 유연성: 팀은 지속적인 워크로드에 대한 최소 전용 용량과 지출을 통제하기 위한 상한 자동 확장 한도를 모두 구성할 수 있습니다.

• 향상된 안정성: 이벤트 확장이 자동으로 수행되어 가동 중단 위험을 줄이고, 서비스가 수동 개입 없이 변동하는 워크로드를 처리할 수 있도록 보장합니다.

시작하기 전에

이 기능을 사용하려면 버전 2.3 (이상)을 사용해야 watsonx.data 합니다.

용량 세부 정보 보기 및 구성

용량 탭을 보려면 다음을 수행하십시오:

1. watsonx.data 콘솔에 로그인하십시오.

2. 인프라 관리자로 이동하십시오. 스파크 엔진을 클릭하세요.

3. 용량 탭을 클릭하십시오. 다음 섹션을 볼 수 있습니다:

   • 전체 사용량 지표: 할당된 총 vCPUs 메모리와 함께 실시간 CPU 및 메모리 사용률 백분율을 표시합니다.
   • 전용: 대규모 워크로드를 위한 전용 용량. 구성된 용량 풀의 세부 정보를 표시합니다. 여기에는 vCPU 메모리 할당, 사용량 수준 및 풀 관리 옵션(추가, 편집, 일시 중지 또는 삭제)이 포함됩니다.
   • 온디맨드: Spark 엔진이 생성되면 자동으로 온디맨드 용량을 제공합니다. 이는 워크로드 요구 사항에 따라 리소스를 동적으로 확장하는 기본 서버리스 옵션입니다. 응용 프로그램의 메모리 사용량을 표시합니다.

주문형 Spark 엔진 용량

온디맨드 용량은 Spark 엔진에 대한 기본 서버리스 실행 모델로, 사전 자원 계획 없이도 유연성과 단순성을 제공하도록 설계되었습니다. Spark 엔진이 생성되면 자동으로 온디맨드 용량이 포함되어 워크로드가 실행될 수 있습니다. 리소스는 워크로드 요구 사항에 따라 동적으로 프로비저닝되며, 지정된 스파크 엔진 내에서 온디맨드 용량을 위해 사용 가능한 최대 코어 수까지 자동으로 확장됩니다.

온디맨드 용량 할당량을 업데이트하려면,

용량 탭에서 '수요 기반'을 클릭하세요. 할당량 편집을 클릭하세요. 수평 슬라이더를 사용하면 허용 범위(0~100 코어) 내에서 원하는 용량 할당량(코어 단위)을 선택할 수 있습니다. 저장을 클릭하십시오.

예를 들어, 할당량을 40코어로 설정하면 엔진이 워크로드 수요에 따라 해당 한도까지 자동으로 리소스를 확장합니다. 100개 이상의 코어로 확장하려면 IBM 지원팀에 문의해야 합니다.

워크로드 전용 용량 생성

전용 용량은 Spark 워크로드에 컴퓨팅 리소스를 예약하는 방법을 제공하여 대규모 또는 장시간 실행되는 작업에 대해 예측 가능한 성능과 비용 안정성을 보장합니다. 온디맨드 용량이 동적으로 확장되는 것과 달리, 전용 용량은 특정 구성의 예약 풀을 Spark 엔진에 연결할 수 있게 합니다.

• 각 Spark 엔진은 서로 다른 유형의 최대 세 개의 용량 풀을 연결할 수 있어 다양한 워크로드 요구 사항에 유연하게 대응할 수 있습니다.
• 전용 용량은 노드 풀의 최소 및 최대 설정을 지원하여 리소스 할당과 확장 범위를 제어할 수 있게 합니다.
• 전용 용량이 연결된 경우, 워크로드는 기본적으로 해당 용량에서 실행됩니다. 전용 용량이 사용 불가능한 경우, 워크로드는 자동으로 온디맨드 용량으로 전환됩니다.

스파크 워크로드 전용 용량 풀을 추가하려면:

용량 탭에서 전용 탭을 클릭합니다. 노드 풀 추가+를 클릭합니다. 편집: 전용 구성 페이지가 열립니다. 다음과 같은 세부사항을 제공하십시오.

1. 인스턴스 유형 이름 필드에 구성 이름을 입력하십시오.

2. 필요한 메모리 조합을 '선택 가능한 구성' 목록에서 선택하십시오. 다음과 같은 구성이 가능합니다.

   메모리 구성

   풍미 유형	풍미	코어	메모리(GB)	사용 가능한 핵심	사용 가능한 메모리 (GB)	코어당 셔플 스토리지 (GB)	보조 저장소 (GB / 계층)
   일반 용도	bx2.16x64	16	64	14	60	50	900GB / 10 IOPS 등급
   일반 용도	bx2.32x128	32	128	30	124	50	1600 GB / 10 IOPS 계층
   메모리 집약적	mx2.16x128	16	128	14	124	50	900GB / 10 IOPS 등급
   메모리 집약적	mx2.32x256	32	256	30	252	50	1600 GB / 10 IOPS 계층
   저장 집약적	mx2.16x128	16	128	14	124	100	1600 GB / 10 IOPS 계층
   저장 집약적	mx2.32x256	32	256	30	252	100	3000 GB / 10 IOPS 등급

3. 확장을 위해 필요한 최소 노드 수와 최대 노드 수를 지정하십시오. 전용 용량은 최소 및 최대 노드 풀 설정을 지원하여 리소스 할당과 확장 경계를 제어할 수 있게 합니다.

4. 선택한 Spark 엔진의 기본 용량으로 이 구성을 선택하려면 '기본 용량으로 설정'을 선택하십시오.

5. 저장 을 클릭하십시오.