Surveillance et débogage des applications Spark à partir de Spark labs

S'applique à: Moteur d'allumage Gluten accéléré Moteur d'allumage

Débogage de l'application Spark à partir de Spark labs

Le lab Spark permet de déboguer l'application Spark que vous soumettez. Pour ce faire:

  1. Accédez à Visual Studio Code > Extensions.
  2. Recherchez l'outil de débogage pour déboguer le code. Pour chaque type d'application Spark (Python, Java, Scalar, R), vous devez choisir l'extension officielle à déboguer. Par exemple, si vous soumettez une application Spark écrite dans le langage Python, installez l'extension Python.
  3. Ouvrez le fichier à déboguer et cliquez sur Exécuter et déboguer à partir de Visual Studio Code après avoir installé l'extension de l'outil de débogage. La fenêtre Visual Studio Code vous invite à indiquer la langue du code d'application Spark et la configuration par défaut.
  4. Sélectionnez le langage et fournissez la configuration par défaut en fonction de votre type d'application Spark (Python, Java, Scalar, R).
  5. Cliquez sur Exécuter et déboguer. Le processus de débogage démarre et vous pouvez afficher les résultats dans le Terminal.

Accéder à Spark UI à partir des laboratoires Spark

L'interface utilisateur Spark vous permet de surveiller divers aspects de l'exécution d'une application Spark. Pour plus d'informations, voir Interface utilisateur Spark. Exposer Spark UI pour y accéder à partir des laboratoires Spark. Pour ce faire:

  1. Accédez à Visual Studio Code > Terminal et sélectionnez l'onglet Ports.

  2. Cliquez sur Transférer un port. Tapez 4040 et appuyez sur Entrée. Vous pouvez désormais accéder à Spark UI à partir des laboratoires Spark. Ouvrez un navigateur web et entrez le URL dans le format - localhost:4040. Le site Spark UI s'ouvre, ce qui vous permet d'inspecter les applications Spark dans les laboratoires Spark. Vous pouvez consulter les détails suivants :

    • La chronologie des événements affiche une vue graphique de la chronologie et des événements.
    • Différentes étapes d'exécution, le stockage utilisé, l'environnement Spark et les détails de l'exécuteur (mémoire et pilote).