配置 Spark 引擎

IBM® watsonx.data 允许您添加 Spark 引擎。 您可以配置本地 Spark 引擎或注册外部 Spark 引擎。 本地 Spark 引擎是一个计算引擎，位于 IBM® watsonx.data 中。 外部 Spark 引擎是指与 watsonx.data 所处环境不同的引擎。

Spark 3.3 运行时已不再支持，默认版本将更改为Spark 3.4 运行时。 为了确保无缝体验并充分利用最新功能和改进，请切换到Spark 3.4。 有关其他受支持的Spark版本，请参阅 受支持的Spark版本。

要添加 Spark 发动机，请完成以下步骤。

1. 登录 watsonx.data 控制台。

2. 从导航菜单中选择 基础设施管理器。

3. 要添加 Spark 引擎，请单击 添加组件，然后单击 下一步。

4. 在 Add component 页，从 Engines 部分，选择 IBM Spark。

5. 在 Add component - IBM Spark 页面中，配置以下详细信息：

   a. 在 Add component - IBM Spark 窗口中，输入 Spark 引擎的 Display name。

   b. 选择注册模式。 根据您的要求，可以选择以下选项之一：

   • 创建本地 Spark 引擎：配置本地 Spark 引擎。
   • 注册外部 Spark 引擎：要注册外部 Spark 引擎。

   c. 如果选择 创建本地 Spark 引擎，请配置以下详细信息：

   供应 Spark 引擎

   字段	描述
   默认 Spark 版本	选择处理应用程序时必须考虑的 Spark 运行时版本。 有关支持的 Spark 版本，请参阅 支持的 Spark 版本。
   发动机归位桶	Select the registered Cloud Object Storage bucket from the list to store the Spark events and logs that are generated while running spark applications. 注意 请确保不要选择 IBM管理的桶作为 Spark 引擎的家。 If you select an IBM-managed bucket, you cannot access it to view the logs. 有关更多信息，请参阅 开始之前。
   预留容量	1.选择 Node类型. 2. 在 No of nodes 字段中输入节点数。
   相关目录（可选）	选择必须与发动机关联的目录。

   注意 本机 Spark 引擎的供应时间根据您添加到引擎的节点数量和类型而有所不同。

   d. 如果选择 注册外部 Spark 引擎，请配置以下详细信息：

   注册IBM Analytics Engine(Spark)

   字段	描述
   显示名称	输入计算引擎名称。
   实例 API 端点	输入 IBM Analytics 引擎实例端点。 有关更多信息，请参阅 检索服务端点
   API 密钥	输入 API 密钥。

6. 单击创建。 引擎已调配，并显示在 Infrastructure Manager 页面中。