调试 Spark 应用程序

适用于：火花机 面筋加速火花机

“引擎”主目录 (在 Spark 引擎供应期间传递的存储区) 使您能够监视和调试 Spark 应用程序。 引擎主目录包含引擎上提交的所有 Spark 应用程序的日志和 Spark 事件。

以下过程详细说明了查看 Spark 应用程序日志的步骤。

1. 登录到 IBM Cloud 帐户，从 Cloud 对象库实例浏览到引擎主存储区。
2. 转至存储区的根路径。 浏览至路径 spark/<spark-engine-id>/logs 以查看提交的 Spark 应用程序的日志。 其中，<spark-engine-id> 是执行应用程序的引擎的标识。
3. 对于在 Spark 引擎上提交的每个应用程序，将使用应用程序标识创建子路径以存储 Spark 应用程序的驱动程序和执行程序日志文件。
4. 要查看日志，请从 Cloud Object Storage 控制台下载驱动程序和执行程序日志文件。