Debug dell'applicazione Spark

Si applica a: Motore a scintilla Glutine accelerato Motore a scintilla

La home Engine (bucket che hai passato durante il provisioning del motore Spark) ti consente di monitorare ed eseguire il debug dell'applicazione Spark. Engine home contiene log ed eventi spark per tutte le applicazioni Spark inoltrate sul motore.

La seguente procedura descrive in dettaglio i passaggi per visualizzare i log di un'applicazione Spark.

1. Accedi al tuo account IBM Cloud, passa al bucket home del motore dall'istanza dell'archivio oggetti Cloud.
2. Andare al percorso root del bucket di archiviazione. Passare al percorso spark /<spark-engine-id>/logs per esaminare i log delle applicazioni Spark inoltrati. <spark-engine-id> è l'ID del motore su cui viene eseguito l'applicazione.
3. Per ogni applicazione inoltrata sul motore Spark, viene creato un percorso secondario con l'ID applicazione per memorizzare i file di log del driver e dell'executor dell'applicazione Spark.
4. Per esaminare i log, scaricare il driver e il file di log degli executor dalla console di archiviazione oggetti Cloud.