Supervisión y depuración de aplicaciones Spark desde laboratorios Spark

Se aplica a: motor Spark Motor Spark acelerado por gluten

Depuración de la aplicación Spark desde laboratorios Spark

La práctica de laboratorio de Spark ayuda a depurar la aplicación Spark que envía. Para ello:

Vaya a Visual Studio Code > Extensions.
Busque la herramienta de depuración para depurar el código. Para cada tipo de aplicación Spark (Python, Java, Scalar, R), debe elegir la extensión oficial para depurar. Por ejemplo, si envía una aplicación Spark escrita en el lenguaje Python, instale la extensión Python.
Abra el archivo que desea depurar y pulse Ejecutar y depurar desde Visual Studio Code después de instalar la extensión de la herramienta de depuración. La ventana Visual Studio Code solicita el idioma del código de aplicación de Spark y la configuración predeterminada.
Seleccione el lenguaje y proporcione la configuración predeterminada basada en el tipo de aplicación Spark (Python, Java, Scalar, R).
Pulse Ejecutar y depurar. El proceso de depuración se inicia y puede ver los resultados en el Terminal.

Acceso a Spark UI desde los laboratorios Spark

La interfaz de usuario (IU) de Spark le permite supervisar diversos aspectos de la ejecución de una aplicación Spark. Para obtener más información, consulte Interfaz de usuario de Spark. Exponga Spark UI para acceder a él desde los laboratorios Spark. Para ello:

Vaya a Visual Studio Code > Terminal y seleccione la pestaña Puertos.
Pulse Reenviar un puerto. Escribe 4040 y pulsa Intro. Ya puedes acceder a Spark UI desde los laboratorios Spark. Abra un navegador web e introduzca el URL en el formato - localhost:4040. Se abre Spark UI, que permite inspeccionar las aplicaciones Spark en los laboratorios Spark. Puede consultar los siguientes datos :
- La Línea temporal de sucesos muestra una vista gráfica de la línea temporal y los sucesos.
- Diferentes etapas de ejecución, el almacenamiento utilizado, el entorno de Spark y los detalles del ejecutor (memoria y controlador).