IBM Analytics Engine 서버리스 인스턴스에 대한 릴리스 정보

이러한 릴리스 정보를 사용하여 날짜별로 그룹화된 IBM Analytics Engine 서버리스 인스턴스의 최신 업데이트에 관해 알아봅니다.

2025년 2월

이제 스파크 버전( 3.5.4 )을 사용하여 IBM Analytics Engine 에서 애플리케이션을 실행할 수 있습니다. IBM Analytics Engine, Apache Spark 3.4.4, Apache Spark 3.5.4 가 지원되는 버전입니다.

2024년 9월

IBM Log Analysis 대한 지원 중단
IBM Log Analysis 더 이상 사용되지 않으며 2025년 3월 30일부로 더 이상 지원되지 않습니다. IBM Cloud Logs로 마이그레이션해야 합니다. 마이그레이션 방법에 대한 자세한 내용은 IBM Cloud Logs로 마이그레이션하기를 참조하세요.

2024년 8월

Spark 3.3 런타임에 대한 지원 중단
2024년 9월 17일에 3.3 런타임에 대한 지원이 중단되며 기본 버전은 Spark 3.4 런타임으로 변경될 예정입니다. 원활한 환경을 보장하고 최신 기능과 개선 사항을 활용하려면 Spark 3.4로 전환하세요. 인스턴스를 Spark 3.4로 업그레이드하려면 인스턴스 기본 런타임 교체 를 참조하세요.

2024년 2 월

2024년 2월 2 일

이제 인스턴스 홈 에서 애플리케이션 로그를 사용할 수 있습니다.
이제 애플리케이션 로그가 기본적으로 Analytics Engine 인스턴스 홈 으로 전달됩니다. IBM Cloud Object Storage (COS) 버킷에서 로그 정보에 액세스할 수 있습니다. 레코딩, 공유 및 디버깅 목적으로 <instance_id>/logs/<app_id> 경로에서 특정 애플리케이션에 대한 로그 파일을 다운로드할 수 있습니다. 자세한 정보는 인스턴스 홈으로 로그 전달 을 참조하십시오.
Spark 애플리케이션 이벤트를 로깅하기 위한 새 위치
2024년 2월 7일부터 Spark 애플리케이션 이벤트가 인스턴스-홈 버킷에서 사용 가능한 새 경로 (/<instance_id>/spark-events) 에 로깅됩니다. Spark 히스토리 인터페이스에서 이전 애플리케이션을 보려면 Spark 애플리케이션 이벤트를 새 위치에 복사하십시오. 이벤트 복사에 대한 자세한 정보는 Spark 히스토리 서버 를 참조하십시오.

2023년 12월

2023년 12월 1 일

Spark 워크로드에 대한 내부 네트워크 데이터 암호화
이제 인스턴스 레벨 또는 작업 레벨에서 IBM Analytics Engine 특성을 구성하여 전송 중인 내부 네트워크 데이터 (Spark 애플리케이션의 구성요소 간 내부 통신) 에 대해 데이터 암호화를 사용으로 설정할 수 있습니다. Spark 워크로드의 내부 네트워크 데이터 암호화에 대한 자세한 정보는 Spark 워크로드의 내부 네트워크 데이터 암호화 를 참조하십시오.

2023년 11 월

2023년 11월 22 일

Spark 로그 레벨 정보 구성
IBM Analytics Engine Serverless Spark 애플리케이션의 기본 로그 레벨은 2023년 1월 3일까지 'ERROR' 로 변경됩니다. 'INFO' 레벨에서 로깅의 기존 로그 구성을 변경하여 관련되고 간결한 메시지를 표시할 수 있습니다. 로그 레벨 변경에 대한 자세한 정보는 Spark 로그 레벨 정보 구성 을 참조하십시오.

2023년 10 월

2023년 10월 19 일

개발 (*- devel) 패키지 제거
보안상의 이유로 *- devel 패키지 (운영 체제 개발 패키지) 는 지금부터 Spark 런타임에 사전 설치되지 않습니다. 개발 패키지를 이미 사용 중인 경우에는 개발 패키지를 사용하는 프로그램을 컴파일할 수 없습니다. 조회에 대해서는 IBM 지원 센터에 문의하십시오.

2023년 10월 9 일

Spark 3.1 지원 제거
IBM Analytics Engine 은 더 이상 Spark 3.1을 지원하지 않습니다. 최신 기능 및 개선사항을 사용하려면 기존 IBM Analytics Engine 인스턴스를 Spark 3.3 으로 업그레이드하십시오. 업그레이드에 대한 자세한 정보는 인스턴스 기본 런타임 바꾸기 를 참조하십시오.

현재 릴리스부터 Spark 3.3 은 IBM Analytics Engine 인스턴스의 기본 런타임 버전입니다.

2023년 9월

2023년 9월 29 일

watsonx.data와의 통합
IBM Analytics Engine 은 이제 IBM® watsonx.data 와 통합되어 watsonx.data의 기능을 활용합니다. 통합에 대한 자세한 정보 및 watsonx.data에 대한 작업은 watsonx.data을 참조하십시오.

2023년 9월 6 일

Spark 지원 3.4
이제 기본 Spark 런타임이 Spark 3.4로 설정된 IBM Analytics Engine 심각도 없는 플랜 인스턴스를 프로비저닝할 수 있습니다. 이를 통해 Spark 3.4에서 Spark 애플리케이션을 실행할 수 있습니다.

2023년 8 월

2023년 8월 23 일

스파크 3.1 및 스파크 3.3 런타임에서 R v3.6 의 지원을 취소합니다.
IBM Analytics Engine은 2023년 9월 6일까지 Spark 3.1 및 Spark 3.3 런타임에서 R v3.6에 대한 지원을 중단합니다. R v4.2에 대한 지원은 이미 Spark 3.1 및 Spark 3.3 런타임에 배포되어 있습니다. 2023년 9월 6일 이전에 새 버전의 R v4.2로 Spark 애플리케이션을 테스트하여 장애가 있는지 확인하세요. 문제가 있는 경우 IBM 지원팀에 문의하세요. 스파크 애플리케이션을 테스트하려면 스파크 애플리케이션 REST API 를 참조하십시오.

2023년 8월 9 일

스파크 3.1 에 대한 지원 해제
IBM Analytics Engine 의 스파크 3.1 버전에 대한 지원은 더 이상 사용되지 않으며 곧 제거됩니다 (2023년 10월 9일). 끊김 없는 경험을 보장하고 최신 기능 및 개선사항을 활용하려면 기존 IBM Analytics Engine 인스턴스를 스파크 3.3으로 업그레이드하십시오. 인스턴스를 Spark 3.3으로 업그레이드하려면 인스턴스 기본 런타임 바꾸기 를 참조하십시오. 이 릴리스 이후에, 스파크 3.3 은 작성된 모든 새 IBM Analytics Engine 인스턴스의 기본 런타임 버전입니다. 이렇게 변경하면 향상된 기능 및 최신 버전에서 사용 가능한 최적화를 활용할 수 있습니다.

2023년 7 월

2023년 7월 7 일

3.3 용 스파크 유지보수 릴리스 버전 업데이트
스파크 3.3 으로 설정된 런타임이 있는 스파크 애플리케이션은 지금부터 스파크 3.3.2 를 사용하여 내부적으로 실행됩니다. 이제 패치 버전이 3.3.0 에서 3.3.2로 업그레이드됩니다.

2023년 5 월

2023년 5월 29 일

스파크 3.1 및 스파크 3.3 런타임에서 Python v3.9 지원 제거
IBM Analytics Engine- 서버리스 Spark 애플리케이션은 Python v3.9 및 2023년 6월 15일 June15까지 Spark 3.3 런타임에서 지원을 중단할 계획입니다. Python v3.10에 대한 지원은 이미 Spark 3.1 및 Spark 3.3 런타임에 배포되어 있습니다. 워크로드에 따라 2023년 6월 15일 이전에 새 버전의 Python, v 3.10로 스파크 애플리케이션을 테스트하여 장애가 있는지 확인합니다. 문제가 있는 경우 IBM 지원팀에 문의하세요. 스파크 애플리케이션 테스트에 대한 프로시저는 기본이 아닌 언어 버전으로 스파크 애플리케이션 실행 을 참조하십시오.

2023년 5월 25 일

REST API및 CLI의 애플리케이션 목록 페이지 매김
이제 애플리케이션 나열 에 대한 Analytics Engine 서버가 없는 REST API 엔드포인트, SDK 메소드 및 CLI 명령으로 리턴되는 애플리케이션 수를 제한할 수 있습니다. 조회 매개변수 한계를 사용하여 리턴할 응용프로그램 수를 지정하고 결과의 다음 또는 이전 페이지를 페치하기 위한 시작 조회 매개변수의 값으로 API 응답에서 next.start 또는 previous.start 값을 지정하십시오. 애플리케이션은 제출 시간을 기준으로 내림차순으로 나열되며 최신 애플리케이션이 첫 번째 애플리케이션이 됩니다.

페이지 매김은 이 릴리스의 선택적 기능입니다. 서비스의 다음 릴리스에서는 기본적으로 결과가 페이지에 표시됩니다.

2023년 1월 5 일

스파크 히스토리 서버에서 애플리케이션 실행 분석

이제 IBM Analytics Engine 서버가 없는 인스턴스에서 스파크 히스토리 서버를 실행할 수 있습니다.

Spark 히스토리 서버는 인스턴스 홈으로 정의된 Object Storage 버킷으로 전달된 Spark 이벤트를 보기 위한 Web UI 를 제공합니다. Web UI 는 다음과 같은 유용한 정보를 표시하여 Spark 애플리케이션이 실행되는 방식을 분석하는 데 도움을 줍니다.

  • 애플리케이션이 실행될 때 애플리케이션이 진행하는 스테이지 목록
  • 각 스테이지의 태스크 수
  • 실행 실행 프로그램 및 메모리 사용과 같은 구성 세부사항

실행 중인 스파크 히스토리 서버에서 소비한 CPU 코어 및 메모리에 대한 비용이 부과된다. 이 비율은 가상 프로세서 코어 시간당 $0.1475 달러이고 기가바이트 시간당 $0.014 달러입니다.

스파크 히스토리 서버 사용 을 참조하십시오.

2022년 9월

2022년 9월 21일

Spark 지원 3.3
스파크 3.3에서 스파크 애플리케이션을 실행할 수 있는 스파크 3.3으로 설정된 기본 스파크 런타임이 있는 IBM® Analytics Engine 심각도 플랜 인스턴스를 제공할 수 있습니다.

9월 9 일

이제 Hive 메타스토어를 사용하여 스파크 SQL에 대해 작업할 때 애플리케이션 테이블, 컬럼 및 파티션 정보와 관련된 메타데이터를 관리할 수 있습니다.
이 메타스토어 데이터베이스를 IBM Cloud Data Engine (이전에 SQL Query) 또는 IBM Cloud Databases for PostgreSQL 인스턴스와 같은 외부 데이터 저장소로 구체화하도록 선택할 수 있습니다. 자세한 내용은 스파크 SQL과 외부 메타스토어에 대한 작업 의 내용을 참조하십시오.

2022년 7월

2022년 7월 12 일

이제 새 리젼에 IBM® Analytics Engine 서버가 없는 인스턴스를 프로비저닝할 수 있습니다.
IBM Cloud® us-south (Dallas) 영역 이외에도 이제 eu-de (Frankurt) 영역에 서버가 없는 인스턴스를 프로비저닝할 수 있습니다.

2022년 7월 8일

플랫폼 로깅을 위한 새로운 API
log_forwarding_config API를 사용하여 IBM Analytics Engine 인스턴스에서 IBM Log Analysis으로 플랫폼 로그를 전달하십시오. 여전히 logging API를 사용할 수 있지만 더 이상 사용되지 않으며 가까운 장래에 제거됩니다. log_forwarding_config API 사용 방법에 대한 세부사항은 로그 구성 및 보기 를 참조하십시오.

2022년 5월 13일

Python 3.9 지원
이제 IBM Analytics Engine 서버가 없는 인스턴스에서 Python 3.9를 사용하여 스파크 애플리케이션을 실행할 수 있습니다.

2022년 4월 4일

Spark 애플리케이션 실행 시간에 대한 제한사항
Spark 애플리케이션은 최대 3일(72시간) 동안 실행할 수 있습니다. 이 기간 이후에 실행되는 애플리케이션은 Analytics Engine에서 애플리케이션의 보안 및 규정 준수 패치 관리 프로세스를 준수하기 위해 자동으로 정리됩니다.

2022년 3월 30일

Analytics Engine 서버리스 CLI 사용 시작
이 학습서를 사용하면 Analytics Engine 서버리스 인스턴스를 프로비저닝하고 Spark 애플리케이션을 제출 및 모니터링하는 작업을 빠르고 간단하게 시작할 수 있습니다. CLI를 사용하여 서비스 인스턴스 작성 및 애플리케이션 제출을 참조하십시오.

2021년 9월 9일

Apache Spark를 위한 IBM Analytics Engine Standard 서버리스 플랜 소개

Apache Spark를 위한 IBM Analytics Engine Standard 서버리스 플랜은 IBM Analytics Engine 서버리스 인스턴스를 몇 초 내에 스핀업하고 선택한 라이브러리 패키지로 사용자 정의하고 Spark 워크로드를 실행하는 기능을 제공합니다.

새로운 기능: Apache Spark를 위한 IBM Analytics Engine Standard 서버리스 플랜은 이제 댈러스 IBM Cloud 서비스 지역에서 GA입니다.

이 플랜은 Spark 워크로드가 실행되는 경우에만 리소스가 할당되고 소비되는 Apache Spark를 사용하는 새로운 소비 모델을 제공합니다.

Apache Spark를 위한 IBM Analytics Engine Standard 서버리스 플랜에서 사용 가능한 기능은 다음과 같습니다.

  • Spark 일괄처리 및 스트리밍 애플리케이션 실행
  • 대화식 유스 케이스에 대한 Jupyter 커널 작성 및 작업
  • Apache Livy와 같은 인터페이스를 통해 Spark 일괄처리 애플리케이션 실행
  • 고유 라이브러리를 사용하여 인스턴스 사용자 정의
  • Spark 워크로드 자동 스케일링
  • Log Analysis 서버에 Spark 워크로드의 로그 집계

서버리스 플랜을 사용하여 시작하려면 서버리스 IBM Analytics Engine 인스턴스를 사용하여 시작하기를 참조하십시오.