無伺服器實例中的架構和概念

本主題顯示 IBM Analytics Engine 無伺服器實例的架構,並說明部分主要概念和定義。

實例架構

IBM Analytics Engine 服務是使用 IBM Cloud® Identity and Access Management (IAM) 來管理。 作為 IBM Cloud 帳戶擁有者,您已獲指派帳戶管理者角色。

使用 IBM Cloud 帳戶,您可以使用下列指令來佈建及管理無伺服器 Analytics Engine 實例:

  • IBM Cloud 主控台
  • CLI
  • REST API

控制平面中的 Analytics Engine 微服務可透過 API 閘道控點實例建立、容量佈建、自訂作業及執行時期管理,而 Spark 應用程式則在資料平面中的隔離名稱空間執行。 您提交的每一個 Spark 應用程式都會在其自己的 Spark 叢集中執行,這是 Spark 主要節點和執行程式節點的組合。 請參閱 隔離及網路存取

每一個 Analytics Engine 實例都與 IBM Cloud Object Storage 實例相關聯,實例相關資料可供在實例中執行的所有應用程式存取。 目前,所有 Spark 事件也都儲存在此實例中。 Spark 應用程式日誌聚集至 Log Analysis Log Server。

顯示 IBM Analytics Engine 無伺服器實例架構。
IBM Analytics Engine
的架構流程圖

主要概念

使用 IBM Analytics Engine 無伺服器實例,您可以視需要啟動 Apache Spark 叢集,並自訂 Spark 執行時期及預設 Spark 配置選項。

下列各節說明佈建無伺服器實例時的主要概念。

IBM Analytics Engine 服務實例

IBM Cloud®服務是一種雲端擴展,提供即用型功能,例如用於運行程式碼的資料庫、訊息傳遞和 Web 軟體,或應用程式管理或監控功能。 服務通常不需要安裝或維護,並且可以透過結合來建立應用程式。 服務實例是由保留給特定應用程式或服務的資源所組成的實體。

當您從型錄建立 IBM Analytics Engine 時,您將為服務實例提供您選擇的名稱,選取您要與實例相關聯的預設 Spark 執行時期,並提供要與實例搭配使用的預設 Spark 配置。 此外,您還需要指定 Instance home,這是僅針對實例相關資料連接至實例的儲存體。

附註

  • 當您建立 IBM Analytics Engine 服務實例時,除非您執行 Spark 應用程式或存取 Spark 歷程伺服器,否則不會產生任何成本。
  • 如果透過公用端點存取 IBM Cloud Object Storage,並且啟用將 IBM Analytics Engine 日誌轉遞至 IBM Log Analysis,則會產生成本。
  • 對於每個 IBM Cloud® 帳戶允許的服務實例數,以及任何給定 IBM Analytics Engine 服務實例中可以使用的 CPU 和記憶體數量,有預設限制。 請參閱 Analytics Engine 實例的限制和配額。 如果您需要調整這些限制,請開立 IBM 支援問題單。
  • 在 IBM Analytics Engine 服務實例中可以執行的 Spark 應用程式數目沒有限制。

預設 Spark 執行時期

在實例佈建時,您可以選取要使用的 Spark 版本。 火花3.4。是預設版本。

執行時期包括開放程式碼 Spark 二進位檔,且配置可協助您快速繼續在實例中建立及執行 Spark 應用程式。 除了 Spark 二進位檔之外,執行時期還包括地理空間、資料跳過及 Parquet 模組化加密程式庫。

在所有 Spark 執行時期版本之間,您可以提交以下列語言撰寫的 Spark 應用程式:

  • Scala
  • Python
  • R

下表顯示 Spark 執行時期版本和執行時期語言版本。

Spark運行時版本和運行時語言版本
Spark 版本 Apache Spark 版本 狀態 支援的語言
3.1 3.1.2 已移除 (不支援) Java 8、Scala 2.12、Python 3.10 及 R 4.2
3.3 3.3.2 已移除 (不支援) Java 11、Scala 2.12、Python 3.10 及 R 4.2
3.4 3.4.1 最新 Java 11、Scala 2.12、Python 3.10 及 R 4.2

語言版本會定期升級,讓執行時期免於任何安全漏洞。 提交應用程式時,您一律可以置換 Spark 執行時期版本。 如需如何新增至有效負載的詳細資料,請參閱 提交應用程式時傳遞執行時期 Spark 版本

實例起始目錄

實例起始目錄是連接至實例的儲存空間,僅適用於實例相關資料,例如自訂應用程式庫及 Spark 歷程事件。 目前只接受 IBM Cloud Object Storage 作為實例起始目錄。 此實例可以是 IBM Cloud® 帳戶中的實例,也可以是來自不同帳戶的實例。

當您使用 IBM Cloud 主控台佈建實例時,IBM Cloud® 帳戶中的 IBM Cloud Object Storage 實例會自動探索並顯示在清單中,供您從中選取。 如果在帳戶中找不到 IBM Cloud Object Storage 實例,您可以在建立實例之後使用 REST API 來更新實例起始目錄。

您無法在建立實例之後變更實例起始目錄。 您只能編輯存取金鑰。

預設 Spark 配置

您可以在佈建 Analytics Engine 實例時指定預設 Spark 配置 (請參閱 佈建 IBM Analytics Engine 無伺服器實例)。 配置會自動套用至在實例上提交的 Spark 應用程式。 您也可以在建立實例之後更新配置。 您可以從 Analytics Engine 實例詳細資料 頁面、Analytics Engine Rest APIIAE CLI 中的 配置 區段編輯配置。 可以在提交 Spark 應用程式時置換指定為實例層次預設值的值。

若要進一步瞭解各種 Apache Spark 配置,請參閱 Spark 配置

無伺服器實例特性及執行方法

下表依存取角色和執行方法顯示支援的無伺服器實例特性。

表 2 依存取角色及執行方法列出的受支援無伺服器實例特性
作業 存取角色 IBM 主控台 API CLI
供應實例 管理者 確認圖示 確認圖示 確認圖示
刪除實例 管理者 確認圖示 確認圖示 確認圖示
授與使用者許可權 管理者 確認圖示 確認圖示 確認圖示
管理實例起始儲存體 管理者 確認圖示 確認圖示 確認圖示
配置記載 管理者
開發人員
DevOps
確認圖示 確認圖示 無法使用
提交 Spark 應用程式 管理者
開發人員
無法使用 確認圖示 確認圖示
檢視已提交 Spark 應用程式的清單 管理者
開發人員
DevOps
無法使用 確認圖示 確認圖示
停止提交的 Spark 應用程式 管理者
開發人員
DevOps
無法使用 確認圖示 確認圖示
自訂程式庫 管理者
開發人員
無法使用 確認圖示 無法使用
存取工作日誌 管理者
開發人員
DevOps
來自 Log Analysis 主控台的確認圖示 不適用 不適用
檢視實例詳細資料; 顯示的詳細資料可能因存取角色而異 管理者
開發人員
DevOps
確認圖示 確認圖示 確認圖示
管理 Spark 歷程伺服器 管理者
開發人員
確認圖示 確認圖示 確認圖示
存取 Spark 歷程 管理者
開發人員
DevOps
確認圖示 確認圖示 確認圖示