IBM Analytics Engine 無伺服器實例的版本注意事項

使用這些發佈筆記可瞭解 IBM Analytics Engine serverless 實體的最新更新,這些更新是依日期分類的。

2025 年 2 月

您現在可以使用 Spark 版本,3.5.4,在 IBM Analytics Engine 中執行應用程式。 在 IBM Analytics Engine 中,Apache Spark 3.4.4 和 Apache Spark 3.5.4 是支援的版本。

2024 年 9 月

棄用對IBM Log Analysis的支持
IBM Log Analysis已棄用,自 2025 年 3 月 30 日起將不再支援。 您必須遷移到IBM Cloud Logs。 有關如何遷移的信息,請參閱 遷移到IBM Cloud Logs

2024 年 8 月

棄用對 Spark 3.3運行時的支持
IBM Analytics Engine中對 Spark 3.3運行時的支援將於 2024 年 9 月 17 日棄用,預設版本將變更為 Spark 3.4運行時。 為了確保無縫體驗並利用最新功能和改進,請切換到 Spark 3.4。 若要將實例升級到 Spark 3.4,請參閱 替換實例預設運行時

2024 年 2 月

2024 年 2 月 2 日

現在可以在 實例起始目錄 中使用應用程式日誌
依預設,應用程式日誌現在會轉遞至 Analytics Engine 實例起始目錄。 您可以從IBM Cloud Object Storage (COS) 儲存桶存取日誌資訊。 您可以從路徑 <instance_id>/logs/<app_id> 下載任何特定應用程式的日誌檔,以進行記錄、共用及除錯。 如需相關資訊,請參閱 將日誌轉遞至實例首頁
用於記載 Spark 應用程式事件的新位置
從 2024 年 2 月 7 日開始,Spark 應用程式事件會記載在實例起始目錄儲存區中可用的新路徑 (/<instance_id>/spark-events) 上。 若要在 Spark 歷程介面上檢視較舊的應用程式,請將 Spark 應用程式事件複製到新位置。 如需複製事件的相關資訊,請參閱 Spark 歷程伺服器

2023 年 12 月

2023 年 12 月 1 日

加密 Spark 工作量的內部網路資料
現在,您可以透過在實例層次或工作層次配置 IBM Analytics Engine 內容,對傳輸中的內部網路資料啟用資料加密 (Spark 應用程式元件之間的內部通訊)。 如需加密 Spark 工作量的內部網路資料的相關資訊,請參閱 加密 Spark 工作量的內部網路資料

2023 年 11 月

2023 年 11 月 22 日

配置 Spark 記載層次資訊
在 2023 年 1 月 3 日之前,IBM Analytics Engine 無伺服器 Spark 應用程式中的預設記載層次將變更為 'ERROR'。 您可以在 'INFO' 層次變更記載的現有日誌配置,以顯示相關且簡要的訊息。 如需變更記載層次的相關資訊,請參閱 配置 Spark 記載層次資訊

2023 年 10 月

2023 年 10 月 19 日

移除開發 (*-devel) 套件
基於安全理由,從現在開始,*-devel 套件 (作業系統開發套件) 未預先安裝在 Spark 執行時期上。 如果您已使用開發套件,則無法編譯使用開發套件的程式。 如需任何查詢,請聯絡 IBM 支援中心。

2023 年 10 月 9 日

移除 Spark 3.1 支援
IBM Analytics Engine 不再支援 Spark 3.1。 將現有 IBM Analytics Engine 實例升級至 Spark 3.3 以取得最新特性及加強功能。 如需升級的相關資訊,請參閱 取代實例預設執行時期

從現行版本開始,Spark 3.3 是 IBM Analytics Engine 實例的預設執行時期版本。

2023 年 9 月

2023 年 9 月 29 日

與 watsonx.data 整合
IBM Analytics Engine 現在與 IBM® watsonx.data 整合,以利用 watsonx.data的功能。 如需整合及使用 watsonx.data的相關資訊,請參閱 使用 watsonx.data

2023 年 9 月 6 日

支援 Spark 3.4
您現在可以佈建 IBM Analytics Engine 無伺服器方案實例,其預設 Spark 執行時期設為 Spark 3.4,可讓您在 Spark 3.4上執行 Spark 應用程式。

2023 年 8 月

2023 年 8 月 23 日

從 Spark 3.1 和 Spark 3.3 執行時期淘汰對 R v3.6 的支援
IBM Analytics Engine將於 2023 年 9 月 6 日停止支援 Spark 3.1和 Spark 3.3運行時中的 R v3.6。 Spark 3.1和 Spark 3.3運行時已部署對 R v4.2的支援。 確保在 2023 年 9 月 6 日之前使用新版本的 R v4.2測試 Spark 應用程式是否有任何故障。 如有任何問題,請聯絡IBM支援人員。 若要測試 Spark 應用程式,請參閱 Spark 應用程式 REST API

2023 年 8 月 9 日

淘汰 Spark 3.1 支援
IBM Analytics Engine 上的 Spark 3.1 版本支援已淘汰,即將移除 (截至 2023 年 10 月 9 日)。 若要確保無縫體驗並利用最新特性及改良,請將現有 IBM Analytics Engine 實例升級至 Spark 3.3。 若要將實例升級至 Spark 3.3,請參閱 取代實例預設執行時期。 從此版本開始,Spark 3.3 將是所有新建立 IBM Analytics Engine 實例的預設執行時期版本。 此變更可讓您從最新版本中提供的加強功能及最佳化中獲益。

2023 年 7 月

2023 年 7 月 7 日

3.3 的 Spark 維護版本更新
從現在開始,執行時期設為 Spark 3.3 的 Spark 應用程式將在內部使用 Spark 3.3.2 執行。 修補程式版本現在已從 3.3.0 升級至 3.3.2。

2023 年 5 月

2023 年 5 月 29 日

從 Spark 3.1 和 Spark 3.3 執行時期移除 Python v3.9 支援
IBM Analytics Engine- Serverless Spark 應用程式計畫在 2023 年June15之前停止 Spark 3.1和 Spark 3.3運行時對Python v3.9的支援。 Spark 3.1和 Spark 3.3運行時已部署對Python v3.10的支援。 根據工作負載,請確保在 2023 年 6 月 15 日之前使用新版本的Python v 3.10測試 Spark 應用程式是否有任何故障。 如有任何問題,請聯絡IBM支援人員。 請參閱測試 Spark 應用程式 使用非預設語言版本執行 Spark 應用程式 的程序。

2023 年 5 月 25 日

REST API 和 CLI 中應用程式清單的分頁
您現在可以針對 列出應用程式,限制 Analytics Engine 無伺服器 REST API 端點、SDK 方法及 CLI 指令所傳回的應用程式數目。 使用查詢參數限制來指定要傳回的應用程式數目,並將 API 回應中的 next.startprevious.start 值指定為開始查詢參數的值,以提取下一頁或上一頁結果。 應用程式會根據提交時間以遞減順序列出,最新的應用程式是第一個。

分頁是此版本中的選用特性。 從服務的下一個版本開始,依預設會將結果分頁。

2023 年 1 月 5 日

在 Spark 歷程伺服器上執行分析應用程式

您現在可以在 IBM Analytics Engine 無伺服器實例上執行 Spark 歷程伺服器。

Spark 歷程伺服器提供 Web UI,以檢視已轉遞至定義為實例起始目錄之 Object Storage 儲存區的 Spark 事件。 Web UI 可透過顯示有用資訊來協助您分析 Spark 應用程式的執行方式,例如:

  • 應用程式執行時所經歷的階段清單
  • 每一個階段中的作業數
  • 配置詳細資料,例如執行中執行程式及記憶體用量

Spark 歷程伺服器在執行時所耗用的 CPU 核心及記憶體會向您收費。 費率為每虛擬處理器核心小時 $0.1475 美元,每 GB 小時 $0.014 美元。

請參閱 使用 Spark 歷程伺服器

2022 年 9 月

2022 年 9 月 21 日

支援 Spark 3.3
您現在可以佈建 IBM® Analytics Engine 無伺服器方案實例,並將預設 Spark 執行時期設為 Spark 3.3,這可讓您在 Spark 3.3上執行 Spark 應用程式。

2022 年 9 月 9 日

現在,您可以在使用 Spark SQL 時使用 Hive meta 儲存庫來管理與應用程式表格、直欄及分割區資訊相關的 meta 資料。
您可以選擇將此 meta 儲存庫資料庫外部化至外部資料儲存庫,例如 IBM Cloud Data Engine (先前的 SQL Query) 或 IBM Cloud Databases for PostgreSQL 實例。 如需詳細資料,請參閱 使用 Spark SQL 及外部 meta 儲存庫

2022 年 7 月

2022 年 7 月 12 日

您現在可以在新地區中佈建 IBM® Analytics Engine 無伺服器實例。
除了 IBM Cloud® us-south (達拉斯) 地區之外,您現在還可以在 eu-de (Frankurt) 地區中佈建無伺服器實例。

2022 年 7 月 8 日

用於平台記載的新 API
開始使用 log_forwarding_config API 將平台日誌從 IBM Analytics Engine 實例轉遞至 IBM Log Analysis。 雖然您仍然可以使用 logging API,但它已淘汰且將在近期移除。 如需如何使用 log_forwarding_config API 的詳細資料,請參閱 配置及檢視日誌

2022 年 5 月 13 日

支援 Python 3.9
您現在可以在 IBM Analytics Engine 無伺服器實例上使用 Python 3.9來執行 Spark 應用程式。

2022 年 4 月 4 日

Spark 應用程式可以執行多久的限制
Spark 應用程式最多可以執行 3 天 (72 小時)。 在此期間之後執行的任何應用程式都會自動清除,以遵循 Analytics Engine中應用程式的安全及相符性修補程式管理處理程序。

2022 年 3 月 30 日

開始使用 Analytics Engine 無伺服器 CLI
使用本指導教學可協助您快速開始使用,只要佈建 Analytics Engine 無伺服器實例,以及提交並監視 Spark 應用程式即可。 請參閱 使用 CLI 建立服務實例並提交應用程式

2021 年 9 月 9 日

簡介 IBM Analytics Engine Standard serverless plan for Apache Spark

IBM Analytics Engine 適用於 Apache Spark 的標準無伺服器方案可讓您在幾秒鐘內啟動 IBM Analytics Engine 無伺服器實例,使用您選擇的程式庫套件自訂它們,並執行 Spark 工作量。

新增: IBM Analytics Engine Apache Spark 的標準無伺服器方案現在已在達拉斯 IBM Cloud 服務區域中 GA。

此方案提供使用 Apache Spark 的新耗用模型,其中僅在 Spark 工作量執行時配置及耗用資源。

IBM Analytics Engine Apache Spark 中提供的功能包括:

  • 執行 Spark 批次和串流應用程式
  • 針對互動式使用案例建立及使用 Jupyter 核心
  • 透過 Apache Livy 類似介面來執行 Spark 批次應用程式
  • 使用您自己的程式庫自訂實例
  • 自動調整 Spark 工作量
  • 將 Spark 工作量的日誌聚集至 Log Analysis 伺服器

若要開始使用無伺服器方案,請參閱 開始使用無伺服器 IBM Analytics Engine 實例