配置 Spark 引擎

IBM® watsonx.data 允许您添加 Spark 引擎。 您可以配置本地 Spark 引擎或注册外部 Spark 引擎。 本地 Spark 引擎是一个计算引擎，位于 IBM® watsonx.data 中。 外部 Spark 引擎是指与 watsonx.data 所处环境不同的引擎。

Spark 3.3 运行时已不再支持，默认版本将更改为Spark 3.4 运行时。 为了确保无缝体验并充分利用最新功能和改进，请切换到Spark 3.4。 有关其他受支持的Spark版本，请参阅 受支持的Spark版本。

要添加 Spark 发动机，请完成以下步骤。

1. 登录 watsonx.data 控制台。

2. 从导航菜单中选择 基础设施管理器。

3. 要添加 Spark 引擎，请单击 添加组件，然后单击 下一步。

4. 在 Add component 页，从 Engines 部分，选择 IBM Spark。

5. 在添加组件 - IBM Spark 页面，从类型列表中选择引擎类型。 您可以选择火花或谷蛋白加速火花。 配置以下详细信息：

   a. 在 Add component - IBM Spark 窗口中，输入 Spark 引擎的 Display name。

   b. 选择注册模式。 根据您的要求，可以选择以下选项之一：

   • 创建本地 Spark 引擎：配置本地 Spark 引擎。
   • 注册外部 Spark 引擎：要注册外部 Spark 引擎。

   c. 如果选择 创建本地 Spark 引擎，请配置以下详细信息：

   供应 Spark 引擎

   字段	描述
   默认 Spark 版本	选择处理应用程序时必须考虑的 Spark 运行时版本。 有关支持的 Spark 版本，请参阅 支持的 Spark 版本。
   发动机归位桶	从列表中选择已注册的 Cloud Object Storage bucket，以存储运行 spark 应用程序时生成的 Spark 事件和日志。 注意 请确保不要选择 IBM管理的桶作为 Spark 引擎的家。 如果选择 IBM 管理的存储桶，则无法访问该存储桶查看日志。 有关更多信息，请参阅 开始之前。
   预留容量	1.选择 Node类型. 2. 在 No of nodes 字段中输入节点数。
   相关目录（可选）	选择必须与发动机关联的目录。

   注意 本机 Spark 引擎的供应时间根据您添加到引擎的节点数量和类型而有所不同。

   d. 如果选择 注册外部 Spark 引擎，请配置以下详细信息：

   注册IBM Analytics Engine(Spark)

   字段	描述
   显示名称	输入计算引擎名称。
   实例 API 端点	输入 IBM Analytics 引擎实例端点。 有关更多信息，请参阅 检索服务端点
   API 密钥	输入 API 密钥。

6. 单击创建。 引擎已调配，并显示在 Infrastructure Manager 页面中。