Accesso al server della cronologia Spark

Si applica a: [motore Spark] [Motore] {: tag-blue} Spark con accelerazione del glutine

Il server della cronologia Spark è un'IU web in cui puoi visualizzare lo stato delle applicazioni Spark in esecuzione e completate su un'istanza watsonx.data. Se si desidera analizzare il modo in cui sono state eseguite le diverse fasi dell'applicazione Spark, è possibile visualizzare i dettagli nell'interfaccia utente del server della cronologia Spark.

1. Accedi alla watsonx.data console.

2. Dal menu di navigazione, seleziona Gestore infrastruttura.

3. Fare clic sul nome del motore Spark (dalla vista elenco o dalla vista topologia). Viene aperta la finestra delle informazioni sul motore.

4. Nella scheda Cronologia Spark, fare clic su Avvia server cronologia.

   È necessario fornire le seguenti informazioni quando si utilizza la versione 2.3 o successive di watsonx.data.

   • Selezionare il tipo di capacità per visualizzare i dettagli della cronologia. È possibile selezionare Dedicato (se configurato) o Su richiesta. Scegli la capacità dall'elenco e specifica i dettagli relativi ai core della CPU e alla memoria.

5. Per impostazione predefinita, il server della cronologia Spark utilizza 1 core CPU e 4 GiB di memoria mentre è in esecuzione. Se si desidera che il server della cronologia Spark utilizzi più risorse, selezionare i Core e la Memoria richiesti per il server e fare clic su Avvia. Il server della cronologia viene avviato e lo stato viene visualizzato come STARTED.

6. Fare clic su Visualizza cronologia Spark. Si apre la pagina History Server.

7. La pagina History Server include le seguenti funzionalità:

   • Visualizzare l'elenco delle applicazioni Spark completate e i dettagli come l'ID applicazione, la durata e il registro eventi per ciascuna applicazione.
   • Fare clic su Scarica dal campo Log eventi per scaricare le informazioni del log eventi per ogni applicazione.
   • Per visualizzare i dettagli della singola applicazione, fare clic sul link ID della singola applicazione. Si apre la pagina Spark Jobs. Questa pagina visualizza i dettagli quali le diverse fasi di esecuzione, l'archiviazione utilizzata, l'ambiente Spark e i dettagli dell'executor (memoria e driver).

   Lo History Server visualizza eventi di archiviazione dettagliati solo se l'applicazione Spark è stata inviata con il parametro di configurazione spark.eventLog.logBlockUpdates.enabled impostato su true.

   I collegamenti ai registri nelle schede Stages ed Executors dell'interfaccia utente del server storico di Spark non funzionano, poiché i registri non vengono conservati con gli eventi di Spark. Per esaminare i registri delle attività e degli esecutori, attivare la registrazione della piattaforma. Per ulteriori informazioni, vedere Visualizzazione dei registri.

8. È possibile arrestare il server della cronologia quando non è più necessario per rilasciare risorse non necessarie. A tale scopo, andare alla scheda Cronologia Spark e fare clic su Arresta server della cronologia. Fare clic su Arresta nel messaggio di conferma.