Aplica-se a: Motor de faísca Motor de faísca acelerado com glúten

Interface com o usuário Spark

A interface de usuário do Spark ( Spark UI ) ajuda a acompanhar vários aspectos de um aplicativo Spark em execução.

A lista a seguir inclui alguns exemplos:

  • estágio atual em execução
  • número de tarefas em um estágio
  • motivo para um estágio de corrida mais longo
  • tarefa estranguladora em um estágio
  • se os executores no aplicativo são usados de forma ideal
  • inspecionar no consumo de memória e disco do driver e executores

Use o servidor de históricos Spark para inspecionar a execução de um aplicativo Spark concluído. Para acessar o servidor de históricos do Spark, consulte o Access Spark history server.

Acessando o Spark UI

  1. Efetue login no console do watsonx.data.

  2. No menu de navegação, selecione Infrastructure manager (Gerenciador de infraestrutura ).

  3. Clique no nome do mecanismo Spark (na visualização de lista ou na visualização de topologia). A janela de informações do mecanismo é aberta

  4. Na guia Aplicativos, selecione um aplicativo e clique no link ID do aplicativo. O Spark UI abre.

  5. Você pode visualizar os seguintes detalhes:

    • A Linha de Tempo de Evento exibe uma visualização gráfica da linha de tempo e dos eventos
    • Diferentes estágios de execução, o armazenamento usado, o ambiente Spark e os detalhes do executor (memória e driver)

Os links de registro nas guias Estágios e Executores da interface de usuário do servidor de histórico do Spark não funcionarão, pois os registros não são preservados com os eventos do Spark. Para revisar os registros da tarefa e do executor, ative o registro da plataforma. Para obter detalhes, consulte Visualização de registros.