Visão geral
Ao enviar aplicativos ou cargas de trabalho do Spark em IBM Analytics Engine, é possível monitorar a execução do aplicativo. IBM Analytics Engine permite depurar os erros do aplicativo ou rastrear a execução do aplicativo monitorando os logs gerados pelo aplicativo e os logs gerados pelo Spark. IBM Cloud Logs, juntamente com o recurso de monitoramento da página Spark History, oferece uma melhor solução de problemas dos aplicativos.
IBM Analytics Engine permite encaminhar os registros de aplicativos para a página inicial da instância ou (e) para o serviço IBM Cloud Logs.
Comportamento padrão
Quando você executa aplicativos em IBM Analytics Engine, os logs do aplicativo (somente ' Spark Driver WARN logs) são encaminhados para o IBM Cloud Object Storage por padrão. É possível acessar as informações de log de seu início da instância.
Para obter mais informações, consulte página inicial da instância
Encaminhando logs para o início da instância
Os logs do aplicativo são encaminhados para o Analytics Engine início da instância por padrão. Você pode acessar as informações de registro no bucket do IBM Cloud Object Storage. Você pode fazer o download do arquivo de log de qualquer aplicativo específico do bucket do Cloud Object Storage para fins de gravação, compartilhamento e depuração. Se você desejar mudar o comportamento padrão para incluir logs do executor ou logs INFO para driver ou executor, será necessário mudar as configurações. Para obter mais informações, consulte Encaminhando logs para início da instância.
Encaminhamento de registros para o IBM Cloud Logs
O serviço IBM Cloud Logs permite que você visualize os logs indexados, habilite a pesquisa de texto completo em todas as mensagens geradas e faça consultas com base em campos específicos. A ativação do recurso " log forwarding encaminha os registros para o serviço IBM Cloud Logs (além da página inicial da instância). Somente o Spark Driver WARN logs é encaminhado por padrão Para alterar o comportamento para incluir os registros do executor,
ative-o modificando a carga útil no encaminhamento de registro " API.For Encaminhamento de logs para ' IBM Cloud Logs
Mudando os níveis de log do Spark
Para mudar o comportamento padrão para encaminhar logs em diferentes níveis de log (INFO, DEBUG e assim por diante), consulte Configurando informações de nível de log do Spark.
Desativando o recurso de criação de log.
Para desativar o envio de informações de registro para a página inicial da instância e para o IBM Cloud Logs, defina a configuração do nível de registro do driver e do executor como OFF. Para obter mais informações, consulte Configurando as informações de nível de log do Spark