Download dei log

Per scaricare i log dalla home dell'istanza, esegui questo comando utilizzando la CLI AWS. Per ulteriori informazioni sull'utilizzo della CLI, vedi Configure the CLI to connect to Object Storage.

aws --endpoint-url <bucket_endpoint> s3 cp s3://<bucket_name>/<instance_id>/logs/<app_id>/ ./ --recursive

Esempio:

aws --endpoint-url https://s3.us-south.cloud-object-storage.appdomain.cloud/ s3 cp s3://do-not-delete-ae-bucket-a0048029-c78a-439a-a864-14fdd3b2d95b/a0048029-c78a-439a-a864-14fdd3b2d95b/logs/2cd9036a-9e4a-4b79-81ec-2d8ae96d674c/ ./ --recursive

Modifica del livello di log Spark

Puoi modificare il spark log level configuration per impostare diversi livelli di log come INFO, DEBUG per i log del driver e dell'executor che vengono inoltrati alla home dell'istanza.

Disabilitare completamente la funzione di registrazione specificando il seguente driver e (o) il livello di log dell'executor.

ae.spark.driver.log.level = OFF
ae.spark.executor.log.level = OFF

Per ulteriori informazioni sulla configurazione delle informazioni sul livello di log, vedi Configurazione delle informazioni sul livello di log Spark.

Per impostazione predefinita, il livello di log del driver è WARN e il livello di log dell'executor è OFF. È possibile visualizzare solo i log del driver nella home dell'istanza, se la configurazione del livello di log Spark non è specificata. Per includere i log dell'executor, modificare il livello di log in un valore diverso da OFF. Per ulteriori informazioni, vedi Configurazione delle informazioni sul livello di log Spark.

Inoltre, puoi scegliere di inoltrare i log al servizio IBM Log Analysis. Per ulteriori informazioni, vedi Inoltro dei log a IBM Log Analysis. Se le informazioni sul livello di log del driver o dell'executor vengono configurate come 'OFF ', i log non vengono inoltrati al servizio IBM Log Analysis anche se sono abilitati tramite le API di registrazione.