2024 年 2 月 2 日

アプリケーション・ログが インスタンス・ホーム で使用可能になりました。

アプリケーション・ログは、デフォルトで Analytics Engine インスタンス・ホーム に転送されるようになりました。 IBM Cloud Object Storage (COS) バケットからログ情報にアクセスできます。 記録、共有、およびデバッグの目的で、パス <instance_id>/logs/<app_id> から特定のアプリケーションのログ・ファイルをダウンロードできます。 詳しくは、 インスタンス・ホームへのログの転送 を参照してください。

Spark アプリケーション・イベントをロギングするための新しい場所

2024 年 2 月 7 日以降、Spark アプリケーション・イベントは、インスタンス・ホーム・バケットで使用可能な新しいパス (/<instance_id>/spark-events) に記録されます。 Spark ヒストリー・インターフェースで古いアプリケーションを表示するには、Spark アプリケーション・イベントを新しい場所にコピーします。 イベントのコピーについて詳しくは、 Spark ヒストリー・サーバー を参照してください。

2023 年 12 月 1 日

Spark ワークロードの内部ネットワーク・データの暗号化

IBM Analytics Engine プロパティーをインスタンス・レベルまたはジョブ・レベルで構成することで、転送中の内部ネットワーク・データ (Spark アプリケーションのコンポーネント間の内部通信) のデータ暗号化を有効にできるようになりました。 Spark ワークロードの内部ネットワーク・データの暗号化について詳しくは、 Spark ワークロードの内部ネットワーク・データの暗号化 を参照してください。

2023 年 11 月 22 日

Spark ログ・レベル情報の構成

IBM Analytics Engine サーバーレス Spark アプリケーションのデフォルトのログ・レベルは、2023 年 1 月 3 日までに「ERROR」に変更する必要があります。 「INFO」レベルでロギングの既存のログ構成を変更して、関連する簡潔なメッセージを表示することができます。 ログ・レベルの変更について詳しくは、 Spark ログ・レベル情報の構成 を参照してください。

2023 年 10 月 19 日

開発 (*-devel) パッケージの削除

セキュリティー上の理由から、今後、*-devel パッケージ (オペレーティング・システム開発パッケージ) は Spark ランタイムにプリインストールされません。 既に開発パッケージを使用している場合、その開発パッケージを使用するプログラムはコンパイルできません。 ご質問がある場合は、 IBM サポートにお問い合わせください。

2023 年 10 月 9 日

Spark 3.1 サポートの削除

IBM Analytics Engine は、Spark 3.1をサポートしなくなりました。 最新の機能および機能拡張については、既存の IBM Analytics Engine インスタンスを Spark 3.3 にアップグレードしてください。 アップグレードについて詳しくは、 インスタンスのデフォルト・ランタイムの置換 を参照してください。

現行リリース以降、Spark 3.3 は IBM Analytics Engine インスタンスのデフォルトのランタイム・バージョンです。

2023 年 9 月 29 日

watsonx.data との統合

IBM Analytics Engine は、 IBM® watsonx.data と統合して、 watsonx.dataの機能を活用するようになりました。 統合および watsonx.dataの操作について詳しくは、 watsonx.dataを参照してください。

2023 年 9 月 6 日

Spark 3.4 のサポート

Spark 3.4に設定されたデフォルトの Spark ランタイムを使用して IBM Analytics Engine の重大度の低いプラン・インスタンスをプロビジョンできるようになりました。これにより、Spark 3.4で Spark アプリケーションを実行できます。

2023 年 8 月 23 日

Spark 3.1 および Spark 3.3 ランタイムからの R v3.6 のサポートの非推奨

IBM Analytics Engine は、2023 年 9 月 6 日までに、Spark 3.1 および Spark 3.3 ランタイムから R v3.6 のサポートを非推奨にします。 R v4.2 のサポートは、Spark 3.1 および Spark 3.3 ランタイム用に既にデプロイされています。 2023 年 9 月 6 日より前に障害が発生した場合は、必ず、新しいバージョンの R v4.2 で Spark アプリケーションをテストしてください。 問題については、 IBM サポートにお問い合わせください。 Spark アプリケーションをテストするには、 Spark アプリケーション REST API を参照してください。

2023 年 8 月 9 日

Spark 3.1 のサポートの非推奨

IBM Analytics Engine での Spark 3.1 バージョンのサポートは非推奨になりました。まもなく削除されます (2023 年 10 月 9 日まで)。 シームレスなエクスペリエンスを実現し、最新の機能と改善を活用するには、既存の IBM Analytics Engine インスタンスを Spark 3.3にアップグレードします。 インスタンスを Spark 3.3にアップグレードするには、 Replace Instance Default Runtime を参照してください。 このリリース以降、Spark 3.3 は、作成されるすべての新規 IBM Analytics Engine インスタンスのデフォルトのランタイム・バージョンになります。 この変更により、最新バージョンで使用可能な拡張機能および最適化を活用できます。

2023 年 7 月 7 日

3.3 の Spark 保守リリース・バージョン更新

Spark 3.3 に設定されたランタイムを持つ Spark アプリケーションは、今後 Spark 3.3.2 を使用して内部で実行されます。 パッチ・バージョンが 3.3.0 から 3.3.2にアップグレードされました。

2023 年 5 月 29 日

Spark 3.1 および Spark 3.3 ランタイムからの Python v3.9 サポートの削除

IBM Analytics Engine-Serverless Spark アプリケーションは、 June15、2023 年までに Spark 3.1 および Spark 3.3 ランタイムの Python v3.9 サポートを終了する予定です。 Python v3.10 のサポートは、Spark 3.1 および Spark 3.3 ランタイム用に既にデプロイされています。 ワークロードに基づいて、2023 年 6 月 15 日より前に障害が発生していないかどうか、新しいバージョンの Pythonv 3.10 を使用して spark アプリケーションをテストするようにしてください。 問題については、 IBM サポートにお問い合わせください。 Spark アプリケーションをテストする手順については、 デフォルト以外の言語バージョンで Spark アプリケーションを実行する を参照してください。

2023 年 5 月 25 日

REST API および CLI でのアプリケーション・リストのページ編集

アプリケーションをリストする ために、 Analytics Engine サーバーレス REST API エンドポイント、SDK メソッド、および CLI コマンドによって返されるアプリケーションの数を制限できるようになりました。 照会パラメーター制限を使用して、返されるアプリケーションの数を指定し、開始照会パラメーターの値として API 応答の next.start または previous.start の値を指定して、結果の次のページまたは前のページをフェッチします。 アプリケーションは、サブミット時に基づいて降順にリストされ、最新のアプリケーションが先頭になります。

ページ編集は、このリリースのオプション機能です。 サービスの次のリリースから、結果はデフォルトでページ編集されます。

2022 年 9 月 21 日

Spark 3.3 のサポート

デフォルトの Spark ランタイムを Spark 3.3に設定して IBM® Analytics Engine の重大度の低いプラン・インスタンスをプロビジョンできるようになりました。これにより、Spark 3.3で Spark アプリケーションを実行できるようになります。

2022 年 9 月 9 日

Spark SQL で作業する際に、 Hive メタストアを使用して、アプリケーション表、列、およびパーティション情報に関連するメタデータを管理できるようになりました。

IBM Cloud Data Engine (以前の SQL Query) または IBM Cloud Databases for PostgreSQL インスタンスなどの外部データ・ストアにこのメタストア・データベースを外部化することを選択できます。 詳しくは、 Spark SQL および外部メタストアの操作 を参照してください。

2022 年 7 月 12 日

IBM® Analytics Engine のサーバーレス・インスタンスを新しいリージョンにプロビジョンできるようになりました。

IBM Cloud® us-south (ダラス) リージョンに加えて、 eu-de (フランクルト) リージョンにサーバーレス・インスタンスをプロビジョンできるようになりました。

2022 年 7 月 8 日

プラットフォーム・ロギング用の新しい API

log_forwarding_config API の使用を開始して、プラットフォーム・ログを IBM Analytics Engine インスタンスから IBM Log Analysisに転送します。 logging API は引き続き使用できますが、非推奨になっており、近い将来削除される予定です。 log_forwarding_config API の使用方法について詳しくは、 ログの構成および表示 を参照してください。