IBM Cloud Docs
Monitorando e depurando aplicativos Spark de laboratórios Spark

Monitorando e depurando aplicativos Spark de laboratórios Spark

Aplica-se a: Motor de faísca Motor de faísca acelerado com glúten

Depurando o aplicativo Spark a partir de laboratórios Spark

O laboratório do Spark ajuda a depurar o aplicativo Spark enviado. Para fazer isso:

  1. Acesse Visual Studio Code > Extensões.
  2. Procure a ferramenta de depuração para depurar o código. Para cada tipo de aplicativo Spark (Python, Java, Scalar, R), é necessário escolher a extensão oficial para depuração. Por exemplo, se você enviar um aplicativo Spark gravado na linguagem Python, instale a extensão Python.
  3. Abra o arquivo que você deseja depurar e clique em Executar e Depurar no Visual Studio Code depois de instalar a extensão da ferramenta de depuração. A janela Visual Studio Code solicita o idioma do código do aplicativo Spark e a configuração padrão
  4. Selecione a linguagem e forneça a configuração padrão com base no tipo de aplicativo Spark (Python, Java, Scalar, R).
  5. Clique em Executar e Depurar O processo de depuração é iniciado e é possível visualizar os resultados no Terminal

Acesso a Spark UI dos laboratórios do Spark

A interface com o usuário (UI) do Spark permite monitorar vários aspectos da execução de um aplicativo Spark. Para obter mais informações, consulte Interface com o usuário do Spark.. Exponha o site Spark UI para acessá-lo nos laboratórios do Spark. Para fazer isso:

  1. Vá para Visual Studio Code > Terminal e selecione a guia Portas.

  2. Clique em Encaminhar uma porta. Digite 4040 e pressione Enter. Agora você pode acessar Spark UI nos laboratórios do Spark. Abra um navegador da Web e digite URL no formato - localhost:4040. O site Spark UI é aberto, o que lhe permite inspecionar os aplicativos Spark nos laboratórios do Spark. Você pode visualizar os seguintes detalhes:

    • A Linha de tempo do evento exibe uma visualização gráfica da linha de tempo e dos eventos
    • Diferentes estágios de execução, o armazenamento usado, o ambiente Spark e os detalhes do executor (memória e driver)