IBM Cloud Docs
查看和编辑本机 Spark 引擎详细信息

查看和编辑本机 Spark 引擎详细信息

适用于：火花机 面筋加速火花机

您可以使用 IBM® watsonx.data UI 或 API 来查看和编辑本机 Spark 详细信息。

查看本机 Spark 引擎详细信息

您可以在列表和拓扑视图中查看本机 Spark 引擎详细信息。

  1. 登录到 watsonx.data 集群并转至“基础结构管理器”页面。

  2. 单击 Spark 引擎的名称 (从列表或拓扑视图)。 打开“发动机信息”窗口。

  3. 在 详细信息 选项卡中，可以查看以下详细信息:

    查看原生 Spark 引擎详细信息
    字段 描述
    显示名称 Spark 引擎名称。
    引擎标识 Spark 实例的唯一标识符。
    描述 对发动机的描述。
    标记 在注册引擎时指定的标记。
    缺省 Spark 版本 缺省情况下用于提交到 Spark 引擎的任何应用程序的 Spark 运行时版本。
    发动机主水桶 指定存储 Spark 相关事件和日志的存储桶名称。
    类型 发动机类型（此处为 Spark 和 Gluten 加速 Spark）。
    watsonx.data 应用程序端点 在提交应用程序时使用端点。 要使用 API 提交应用程序，请参阅 API 文档。
    Spark 引擎端点 本机 Spark 端点。
    缺省 Spark 配置 应用于提交到 Spark 引擎的任何应用程序的 Spark 配置属性。

您也可以使用专用端点，请参阅 VPE Gateway Configuration 在虚拟专用云 (VPC) 中配置虚拟专用端点网关。

从控制台 UI 编辑 Spark 详细信息

您可以在列表和拓扑视图中编辑 Spark 详细信息。

  1. 登录到 watsonx.data 集群并转至“基础结构管理器”页面。
  2. 单击 Spark 引擎的名称 (从列表或拓扑视图)。 打开“发动机信息”窗口。
  3. 在“详细信息”选项卡中，单击“编辑”。
  4. 在显示名称字段中，输入 Spark 引擎的显示名称。
  5. 在 描述 字段中，输入引擎的描述或编辑现有描述。
  6. 在 标记 字段中，从列表中选择标记或开始输入以定义新标记。
  7. 在 缺省 Spark 版本 字段中，选择必须考虑用于处理应用程序的 Spark 运行时版本。
  8. 在 缺省 Spark 配置 字段中，单击 编辑配置 链接以更新缺省 Spark 配置。 有关不同属性的更多信息，请参阅 可用属性。
    1. 输入适用于所有应用程序的 Spark 配置的键/值对。
    2. 单击应用。
  9. 单击 保存，然后单击 Spark 引擎的名称 (从列表或拓扑视图)。 打开“发动机信息”窗口。

使用 API 编辑 Spark 详细信息

使用以下 curl 来更新 Spark 引擎详细信息，例如标记，描述，缺省配置和 Spark 版本。

   curl --request PATCH \
     --url https://<region>.lakehouse.cloud.ibm.com/lakehouse/api/v2/spark_engines/<spark_engine_id> \
     --header 'Authorization: Bearer <token>' \
     --header 'Content-Type: application/merge-patch+json' \
     --header 'AuthInstanceID: <crn_instance>' \
     --data '{
     "engine_details": {
       "default_config": <map_of_spark_properties>,
       "default_version": "<spark_version>"
     }
   }'

以下是要在 curl 命令中使用的参数值的详细信息:

参数列表
参数 描述
<region> 供应的 Spark 实例的区域。
<spark_engine_id> 本机 Spark 引擎的引擎标识。
<token> 不记名令牌。 有关生成令牌的更多信息，请参阅 生成不记名令牌。
<crn_instance> watsonx.data 实例的 CRN。
<map_of_spark_properties> 以逗号分隔的键/值对 ("<property_name>": "<property_value>") 格式指定 Spark 属性。
<property_name> 缺省配置属性名称。 有关不同属性的更多信息，请参阅 可用属性。
<property_value> 必须为属性配置的值。 有关不同属性的更多信息，请参阅 可用属性。
<spark_version> Spark 运行时。 如需了解支持的Spark版本，请参阅 支持的Spark版本。

示例：

   curl --request PATCH \
     --url https://<region>.lakehouse.cloud.ibm.com/lakehouse/api/v2/spark_engines/<spark_engine_id> \
     --header 'Authorization: Bearer <token>' \
     --header 'Content-Type: application/merge-patch+json' \
     --header 'AuthInstanceID: <crn_instance>' \
     --data '{
     "engine_details": {
       "default_config": {
         "spark.driver.cores": "1",
         "spark.driver.memory": "4g"
       },
       "default_version": "3.4"
     }
   }'

要向 default_config 参数添加新属性或更新现有属性，请指定属性名称和值。 要删除属性，请指定属性名称并将值设置为 NULL。

相关应用程序接口

如需了解相关API的信息，请参阅