Monitoraggio e debug delle applicazioni Spark dai laboratori Spark

Si applica a: Motore a scintilla Glutine accelerato Motore a scintilla

Debug dell'applicazione Spark da Spark labs

Il laboratorio Spark consente di eseguire il debug dell'applicazione Spark inoltrata. Per fare ciò:

Vai a Visual Studio Code > Extensions.
Ricercare lo strumento di debug per il debug del codice. Per ogni tipo di applicazione Spark (Python, Java, Scalar, R), devi scegliere l'estensione ufficiale per il debug. Ad esempio, se invii un'applicazione Spark scritta nel linguaggio Python, installa l'estensione Python.
Aprire il file di cui si desidera eseguire il debug e fare clic su Esegui e debug da Visual Studio Code dopo aver installato l'estensione dello strumento di debug. La finestra Visual Studio Code richiede la lingua del codice dell'applicazione Spark e la configurazione predefinita.
Seleziona il linguaggio e fornisci la configurazione predefinita in base al tuo tipo di applicazione Spark (Python, Java, Scalar, R).
Fare clic su Esegui e debug. Il processo di debug viene avviato ed è possibile visualizzare i risultati nel Terminale.

Accedere a Spark UI dai laboratori Spark

L'interfaccia utente (UI) Spark consente di monitorare vari aspetti dell'esecuzione di una applicazione Spark. Per ulteriori informazioni, vedi Interfaccia utente Spark. Esporre Spark UI per accedervi dai laboratori Spark. Per fare ciò:

Vai a Visual Studio Code > Terminal e seleziona la scheda Ports.
Fare clic su Inoltra una porta. Digitare 4040 e premere Invio. È ora possibile accedere a Spark UI dai laboratori Spark. Aprite un browser web e digitate URL nel formato - localhost:4040. Si apre Spark UI, che consente di ispezionare le applicazioni Spark nei laboratori Spark. È possibile visualizzare i seguenti dettagli:
- La Timeline evento visualizza una vista grafica della timeline e degli eventi.
- Diverse fasi di esecuzione, l'archiviazione utilizzata, l'ambiente Spark e i dettagli dell'executor (memoria e driver).