Überwachung und Debugging von Spark-Anwendungen aus Spark Labs

Gilt für: Funkenmotor Gluten beschleunigter Funkenmotor

Debugging für die Spark-Anwendung in Spark Labs

Das Spark-Labor unterstützt Sie beim Debugging der Spark-Anwendung, die Sie übergeben. Gehen Sie dazu wie folgt vor:

  1. Rufen Sie Visual Studio Code > Erweiterungen auf.
  2. Suchen Sie nach dem Debugging-Tool, um den Code zu debuggen. Für jeden Spark-Anwendungstyp (Python, Java, Scalar, R) müssen Sie die offizielle Erweiterung für das Debugging auswählen. Wenn Sie beispielsweise eine Spark-Anwendung übergeben, die in der Sprache Python geschrieben ist, installieren Sie die Python-Erweiterung.
  3. Öffnen Sie die Datei, für die Sie den Debugger ausführen wollen, und klicken Sie in Visual Studio Code nach der Installation der Debug Tool-Erweiterung auf Ausführen und Debug. Im Fenster Visual Studio Code werden Sie zur Eingabe der Sprache des Spark-Anwendungscodes und der Standardkonfiguration aufgefordert.
  4. Wählen Sie die Sprache aus und geben Sie die Standardkonfiguration basierend auf Ihrem Spark-Anwendungstyp (Python, Java, Scalar, R) an.
  5. Klicken Sie auf Ausführen und debuggen. Der Debugprozess startet und Sie können die Ergebnisse im Terminal anzeigen.

Zugriff auf Spark UI aus Spark-Laboren

Die Spark-Benutzerschnittstelle ermöglicht Ihnen die Überwachung verschiedener Aspekte der Ausführung einer Spark-Anwendung. Weitere Informationen finden Sie unter Spark-Benutzerschnittstelle. Expose Spark UI für den Zugriff von Spark Labs. Gehen Sie dazu wie folgt vor:

  1. Rufen Sie Visual Studio Code > Terminal auf und wählen Sie die Registerkarte Ports aus.

  2. Klicken Sie auf Einen Port weiterleiten. Geben Sie 4040 ein und drücken Sie die Eingabetaste. Sie können jetzt von Spark Labs aus auf Spark UI zugreifen. Öffnen Sie einen Webbrowser und geben Sie URL im Format - localhost:4040 ein. Es öffnet sich die Seite Spark UI, auf der Sie Spark-Anwendungen in den Spark-Laboren einsehen können. Sie können die folgenden Details einsehen:

    • Die Ereigniszeitachse zeigt eine grafische Ansicht der Zeitachse und der Ereignisse an.
    • Details zu verschiedenen Phasen der Ausführung, dem verwendeten Speicher, der Spark-Umgebung und dem Executor (Speicher und Treiber).