Panoramica
Quando invii applicazioni o carichi di lavoro Spark in IBM Analytics Engine, puoi monitorare l'esecuzione dell'applicazione. IBM Analytics Engine consente di eseguire il debug degli errori dell'applicazione o di tracciare l'esecuzione dell'applicazione monitorando i log generati dall'applicazione e i log generati da Spark. IBM Cloud Logs, insieme alla funzione di monitoraggio della pagina Spark History, fornisce una migliore risoluzione dei problemi delle applicazioni.
IBM Analytics Engine consente di inoltrare i log delle applicazioni al servizio Logs 'istanza home o (e) a 'IBM Cloud.
Comportamento predefinito
Quando si eseguono applicazioni in IBM Analytics Engine, i log dell'applicazione (solo 'Spark Driver WARN logs) vengono inoltrati per impostazione predefinita a IBM Cloud Object Storage. Puoi accedere alle informazioni di log dalla
tua home dell'istanza. Per ulteriori informazioni, vedi home dell'istanza.
Inoltro dei log alla home dell'istanza
I log dell'applicazione vengono inoltrati a Analytics Engine home istanza per impostazione predefinita. È possibile accedere alle informazioni di registro dal bucket IBM Cloud Object Storage. È possibile scaricare il file di registro per qualsiasi applicazione specifica dal bucket Cloud Object Storage per scopi di registrazione, condivisione e debug. Se si desidera modificare il comportamento predefinito per includere i log dell'executor o i log INFO per il driver o l'executor, è necessario modificare le configurazioni. Per ulteriori informazioni, vedi Inoltro dei log alla home dell'istanza.
Inoltro dei log a IBM Cloud Logs
Il servizio IBM Cloud Logs consente di visualizzare i log indicizzati, di attivare la ricerca full-text in tutti i messaggi generati e di effettuare query basate su campi specifici. Abilitando la funzione 'log forwarding, i log
vengono inoltrati al servizio IBM Cloud Logs (oltre che alla home dell'istanza). Solo Spark Driver WARN logs viene inoltrato per impostazione predefinita. Per modificare il comportamento in modo da includere i
log dell'esecutore, attivarlo modificando il payload nell'inoltro dei log 'API.For Per ulteriori informazioni, vedere 'Inoltro dei registri a 'IBM Cloud Registri
Modifica dei livelli di log Spark
Per modificare il comportamento predefinito per inoltrare i log a diversi livelli di log (INFO, DEBUG e così via), vedi Configurazione delle informazioni sul livello di log Spark.
Disabilitazione della funzione di registrazione
Per disabilitare l'invio di informazioni di log sia alla home dell'istanza che a IBM Cloud Logs, impostare la configurazione del livello di log del driver e dell'esecutore su OFF. Per ulteriori informazioni, consultare Configurazione delle informazioni sul livello di log Spark.