概述
在 IBM Analytics Engine中提交应用程序或 Spark 工作负载时,可以监视应用程序执行情况。IBM Analytics Engine 允许通过监视应用程序生成的日志和 Spark 生成的日志来调试应用程序错误或跟踪应用程序执行。 IBM Cloud日志与 Spark 历史记录页面的监控功能一起为应用程序提供了更好的故障排除功能。
IBM Analytics Engine允许您将应用程序日志转发到实例首页或(和)IBM Cloud日志服务。
缺省行为
在IBM Analytics Engine 中运行应用程序时,应用程序日志(仅 "Spark Driver WARN logs)默认会转发到IBM Cloud Object Storage。 您可以从 实例主目录访问日志信息。 有关更多信息,请参阅 实例主目录。
将日志转发到实例主目录
缺省情况下,会将应用程序日志转发到 Analytics Engine 实例主目录。 您可以从IBM Cloud Object Storage桶访问日志信息。 您可以Cloud Object Storage桶下载任何特定应用程序的日志文件,用于记录、共享和调试。 如果要更改缺省行为以包括驱动程序或执行程序的执行程序日志或 INFO 日志,那么需要更改配置。 有关更多信息,请参阅 将日志转发到实例主目录。
将日志转发到IBM Cloud日志
IBM Cloud日志服务允许您查看索引日志,通过所有生成的消息进行全文搜索,并根据特定字段进行查询。 启用 "log forwarding 功能可将日志转发到IBM Cloud日志服务(除实例主页外)。 缺省情况下,仅转发 Spark Driver WARN logs。 要更改行为以包括执行器日志,请通过修改日志转发API.For中的有效载荷 来 启用
更改 Spark 日志级别
要将缺省行为更改为在不同日志级别 (INFO 和 DEBUG 等) 转发日志,请参阅 配置 Spark 日志级别信息。
禁用日志记录功能
要禁用向实例主页和IBM Cloud日志发送日志信息,请将驱动程序和执行器日志级别配置设置为关闭。 有关更多信息,请参阅 配置 Spark 日志级别信息。