Acceso al servidor de historial de Spark

Aplicable a: [Motor Spark] Motor Spark acelerado por gluten

El servidor de historial de Spark es una interfaz de usuario web en la que se puede ver el estado de las aplicaciones Spark en ejecución y completadas en una watsonx.data instancia. Si desea analizar cómo se han realizado las diferentes etapas de la aplicación de Spark, consulte los detalles en la interfaz de usuario del servidor de historial de Spark.

1. Inicie una sesión en la consola de watsonx.data.

2. En el menú de navegación, seleccione Administrador de infraestructura.

3. Pulse el nombre del motor de Spark (desde la vista de lista o la vista de topología). Se abre la ventana de información del motor.

4. En la pestaña Historial de Spark, pulse Iniciar servidor de historial.

   Debe proporcionar la siguiente información cuando utilice la versión 2.3 o posterior de watsonx.data.

   • Seleccione el tipo de capacidad para ver los detalles del historial. Puede seleccionar Dedicado (si está configurado) o Bajo demanda. Seleccione la capacidad de la lista y especifique los núcleos de CPU y los detalles de la memoria.

5. De forma predeterminada, el servidor de historial de Spark consume 1 núcleo de CPU y 4 GiB de memoria mientras se está ejecutando. Si desea que el servidor de historial de Spark utilice más recursos, seleccione los Núcleos y Memoria necesarios para el servidor y pulse Iniciar. El servidor de historial se inicia y el estado se visualiza como STARTED.

6. Pulse Ver historial de Spark. Se abre la página Servidor de historial.

7. La página Servidor histórico incluye las siguientes funcionalidades:

   • Ver la lista de la aplicación Spark completada y detalles como, por ejemplo, el ID de aplicación, la duración y el registro de sucesos para cada aplicación.
   • Pulse el enlace Descargar en el campo Registro de sucesos para descargar la información de registro de sucesos para cada aplicación.
   • Para ver los detalles de una aplicación individual, pulse el enlace de ID de aplicación individual. Se abre la página Trabajos de Spark. Esta página muestra detalles como las distintas etapas de ejecución, el almacenamiento utilizado, el entorno Spark y los detalles del ejecutor (memoria y controlador).

   El Servidor de Historiales muestra eventos de almacenamiento detallados sólo si la aplicación Spark se envió con el parámetro de configuración spark.eventLog.logBlockUpdates.enabled establecido en true.

   Los enlaces de registro en las pestañas Etapas y Ejecutores de la interfaz de usuario del servidor histórico de Spark no funcionarán, ya que los registros no se conservan con los eventos de Spark. Para revisar los registros de tareas y ejecutores, active el registro de la plataforma. Para más detalles, consulte Visualización de registros.

8. Puede detener el servidor de historial cuando ya no lo necesite para liberar recursos innecesarios. Para ello, vaya al separador Historial de Spark y pulse Detener servidor de historial. Pulse Detener en el mensaje de confirmación.