Monitorando e depurando aplicativos Spark de laboratórios Spark
Aplica-se a: Motor de faísca Motor de faísca acelerado com glúten
Depurando o aplicativo Spark a partir de laboratórios Spark
O laboratório do Spark ajuda a depurar o aplicativo Spark enviado. Para fazer isso:
- Acesse Visual Studio Code > Extensões.
- Procure a ferramenta de depuração para depurar o código. Para cada tipo de aplicativo Spark (Python, Java, Scalar, R), é necessário escolher a extensão oficial para depuração. Por exemplo, se você enviar um aplicativo Spark gravado na linguagem Python, instale a extensão Python.
- Abra o arquivo que você deseja depurar e clique em Executar e Depurar no Visual Studio Code depois de instalar a extensão da ferramenta de depuração. A janela Visual Studio Code solicita o idioma do código do aplicativo Spark e a configuração padrão
- Selecione a linguagem e forneça a configuração padrão com base no tipo de aplicativo Spark (Python, Java, Scalar, R).
- Clique em Executar e Depurar O processo de depuração é iniciado e é possível visualizar os resultados no Terminal
Acesso a Spark UI dos laboratórios do Spark
A interface com o usuário (UI) do Spark permite monitorar vários aspectos da execução de um aplicativo Spark. Para obter mais informações, consulte Interface com o usuário do Spark.. Exponha o site Spark UI para acessá-lo nos laboratórios do Spark. Para fazer isso:
-
Vá para Visual Studio Code > Terminal e selecione a guia Portas.
-
Clique em Encaminhar uma porta. Digite
4040
e pressione Enter. Agora você pode acessar Spark UI nos laboratórios do Spark. Abra um navegador da Web e digite URL no formato -localhost:4040
. O site Spark UI é aberto, o que lhe permite inspecionar os aplicativos Spark nos laboratórios do Spark. Você pode visualizar os seguintes detalhes:- A Linha de tempo do evento exibe uma visualização gráfica da linha de tempo e dos eventos
- Diferentes estágios de execução, o armazenamento usado, o ambiente Spark e os detalhes do executor (memória e driver)