IBM Cloud Docs
从 Spark 实验室监视和调试 Spark 应用程序

从 Spark 实验室监视和调试 Spark 应用程序

适用于：火花机 面筋加速火花机

从 Spark 实验室调试 Spark 应用程序

Spark 实验室可帮助调试您提交的 Spark 应用程序。 为此:

  1. 转至 Visual Studio Code > Extensions。
  2. 浏览调试工具以调试代码。 对于每种 Spark 应用程序类型 (Python，Java，Scalar 和 R)，您需要选择要调试的官方扩展。 例如，如果您提交以 Python 语言编写的 Spark 应用程序，请安装 Python 扩展。
  3. 打开要调试的文件，并在安装调试工具扩展后从 Visual Studio Code 中单击 运行和调试。 " Visual Studio Code " 窗口将提示输入 Spark 应用程序代码和缺省配置的语言。
  4. 选择语言并根据 Spark 应用程序类型 (Python，Java，Scalar 和 R) 提供缺省配置。
  5. 单击 运行和调试。 调试过程将启动，您可以在 终端中查看结果。

从 Spark 实验室访问 Spark UI

Spark 用户界面 (UI) 允许您监视运行 Spark 应用程序的各个方面。 有关更多信息，请参阅 Spark 用户界面。 公开 Spark UI，以便从 Spark 实验室访问。 为此:

  1. 转至 Visual Studio Code > 终端，然后选择 端口 选项卡。

  2. 单击 转发端口。 输入 4040 并按 Enter。 现在，您可以从 Spark 实验室访问 Spark UI。 打开网页浏览器，输入 URL，格式为 - localhost:4040。打开 Spark UI，可以在 Spark 实验室中检查 Spark 应用程序。 您可以查看以下详细信息：

    • 事件时间线 显示时间线和事件的图形视图。
    • 执行的不同阶段，使用的存储器，Spark 环境和执行程序 (内存和驱动程序) 详细信息。