Debugging für die Spark-Anwendung durchführen

Gilt für: Funkenmotor Gluten beschleunigter Funkenmotor

Mit dem Ausgangsverzeichnis der Engine (Bucket, das Sie während der Bereitstellung der Spark-Engine übergeben haben) können Sie die Spark-Anwendung überwachen und debuggen. Das Ausgangsverzeichnis der Engine enthält Protokolle und Spark-Ereignisse für alle Spark-Anwendungen, die auf der Engine übergeben werden.

In der folgenden Prozedur werden die Schritte zum Anzeigen von Protokollen einer Spark-Anwendung beschrieben.

1. Melden Sie sich bei Ihrem IBM Cloud-Konto an und navigieren Sie von der Cloud-Objektspeicherinstanz aus zum Home-Bucket der Engine.
2. Wechseln Sie zum Stammverzeichnispfad des Speicherbuckets. Navigieren Sie zum Pfad spark/<spark-engine-id>/logs, um die Protokolle der übergebenen Spark-Anwendungen zu überprüfen. Hier ist <spark-engine-id> die ID der Engine, auf der die Anwendung ausgeführt wird.
3. Für jede Anwendung, die auf der Spark-Engine übergeben wird, wird ein Unterpfad mit der Anwendungs-ID erstellt, um die Treiber-und Executor-Protokolldateien der Spark-Anwendung zu speichern.
4. Um Protokolle zu überprüfen, laden Sie die Treiber-und Executors-Protokolldatei von der Cloud Object Storage-Konsole herunter.