IBM Cloud Docs
Spark 用户界面

Spark 用户界面

Spark 用户界面 ( Spark UI ) 可帮助你跟踪运行中的 Spark 应用程序的各个方面。

以下列表包含几个示例:

  • 当前正在运行阶段
  • 阶段中的任务数
  • 运行阶段较长的原因
  • 阶段中的陌生人任务
  • 是否以最佳方式使用应用程序中的执行程序
  • 检查驱动程序和执行程序的内存和磁盘消耗

有关详细信息，请参阅 Spark-UI 文档。

IBM Analytics Engine 只显示当前正在运行的 Spark 应用程序的。Spark UI 对于已完成的申请，您无法访问 Spark UI。

使用 Spark 历史记录服务器来检查已完成的 Spark 应用程序的运行情况。 要访问 Spark 历史记录服务器，请参阅 Access Spark 历史记录服务器。

访问 Spark UI

运行中的 Spark 应用程序的 Spark UI 端点可从 IBM Analytics Engine 实例的服务详细信息页面访问。

Spark 历史服务器用户界面的“阶段”和“执行者”选项卡下的日志链接将不起作用，因为日志不会与 Spark 事件一起保存。 要查看任务和执行器日志，请启用平台日志。 有关详细信息，请参阅 配置和查看日志。

下图显示了应用程序选项卡的一个示例，该选项卡带有指向运行中应用程序 Spark UI 的链接。

显示正在运行的应用程序
的 Spark-ui 墨迹 IBM
的服务详情页面

运行中的 Spark 应用程序的 Spark UI 端点也可通过调用以下 IBM Analytics Engine REST API 端点或相应的 SDK 方法获得：

Spark UI 端点的 URL 模板示例如下：

https://spark-console.{REGION}.ae.cloud.ibm.com/v3/analytics_engines/{INSTANCE_ID}/spark_applications/{APPLICATION_ID}/spark_ui

参数值:

  • REGION: 对于在达拉斯区域的实例上提交的应用程序，将 REGION 替换为 us-south，对于在法兰克福区域的实例上提交的应用程序，将端点中的 REGION 替换为 eu-de。
  • INSTANCE_ID：运行应用程序的IBM Analytics Engine实例的标识符。
  • APPLICATION_ID：访问 Spark UI 的应用程序的标识符。

访问 Spark UI REST API

除了 Web UI 之外，Spark UI API 也可用于程序化消费。

例如，输入:

curl  "https://spark-console.{REGION}.ae.cloud.ibm.com/v3/analytics_engines/{INSTANCE_ID}/spark_applications/{APPLICATION_ID}/spark_ui_api/v1/applications" --header "Authorization: Bearer {IAM TOKEN}"

参数值:

  • REGION: 对于在达拉斯区域的实例上提交的应用程序，将 REGION 替换为 us-south，对于在法兰克福区域的实例上提交的应用程序，将端点中的 REGION 替换为 eu-de。
  • INSTANCE_ID：运行应用程序的IBM Analytics Engine实例的标识符。
  • APPLICATION_ID：访问 Spark UI 的应用程序的标识符。
  • IAM TOKEN: 确保您具有访问服务实例所需的特权。

有关 API 的更多详细信息，请参阅 SparkUI 服务器 REST API 文档。