Fazendo download dos logs

Para fazer download dos logs do início da instância, execute o comando a seguir usando a CLI do AWS. Para obter mais informações sobre como usar a CLI, consulte Configurar a CLI para conectar ao Object Storage.

aws --endpoint-url <bucket_endpoint> s3 cp s3://<bucket_name>/<instance_id>/logs/<app_id>/ ./ --recursive

Exemplo:

aws --endpoint-url https://s3.us-south.cloud-object-storage.appdomain.cloud/ s3 cp s3://do-not-delete-ae-bucket-a0048029-c78a-439a-a864-14fdd3b2d95b/a0048029-c78a-439a-a864-14fdd3b2d95b/logs/2cd9036a-9e4a-4b79-81ec-2d8ae96d674c/ ./ --recursive

Mudando o nível de log do Spark

É possível editar o spark log level configuration para configurar diferentes níveis de log como INFO, DEBUG para logs do driver e do executor que são encaminhados para o início da instância.

Desative o recurso de criação de log completamente especificando o seguinte driver e (ou) nível de log do executor.

ae.spark.driver.log.level = OFF
ae.spark.executor.log.level = OFF

Para obter mais informações sobre como configurar as informações de nível do log, consulte Configurando informações de nível do Spark.

Por padrão, o nível de log do driver é WARN, e o nível de log do executor é OFF Será possível visualizar apenas os logs do driver em seu início da instância, se a configuração do nível de log do Spark não for especificada Para incluir os logs do executor, altere o nível de log para um valor diferente de OFF... Para obter mais informações, consulte Configurando informações de nível de log do Spark..

Além disso, também é possível escolher encaminhar logs para o serviço IBM Log Analysis. Para obter mais informações, consulte Encaminhando logs para IBM Log Analysis. Se as informações de nível de log do driver ou executor forem configuradas como 'OFF', os logs não serão encaminhados para o serviço IBM Log Analysis mesmo se ele estiver ativado por meio das APIs de Criação de Log.