Servidor de históricos do Spark

Os aplicativos Spark que são submetidos em uma instância IBM Analytics Engine encaminhá seus eventos Spark para o balde Object Storage que foi definido como a instância de instância **. O servidor de históricos do Spark fornece uma Web UI para visualizar esses eventos do Spark A Web UI ajuda a analisar como seus aplicativos Spark foram executados exibindo informações úteis como:

Uma lista dos estágios que o aplicativo passa quando ele é executado
O número de tarefas em cada etapa
Os detalhes de configuração como os executores de execução e o uso de memória

Veja a documentação do servidor Spark History server para obter mais detalhes.

Você pode desativar o encaminhamento de eventos do Spark a partir de um aplicativo Spark configurando a propriedade spark.eventLog.enabled para false na configuração do aplicativo Spark.

Iniciando e parando o servidor de históricos do Spark

Antes de acessar o servidor de histórico do Spark, é necessário iniciar o servidor. Quando você não precisar mais, você deve parar o servidor. Você será cobrado pelos núcleos de CPU e memória consumidos pelo servidor de histórico do Spark enquanto ele estiver em execução.

O servidor de histórico Spark pode ser iniciado e parado usando:

O Analytics Engine API REST
O Analytics Engine UI da instância

API REST do Analytics Engine

Você pode usar a API REST Analytics Engine:

Como visualizar o status do servidor de histórico do Spark

curl "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_id>/spark_history_server" --header "Authorization: bearer <iam token>"

Para iniciar o servidor de históricos Spark

curl --location --request POST "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_id>/spark_history_server" --header "Authorization: bearer <iam token>"

Para parar o servidor de históricos Spark

curl --location --request DELETE "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_id>/spark_history_server" --header "Authorization: bearer <iam token>"

Analytics Engine instância UI

Você pode usar a UI da instância Analytics Engine:

Para visualizar o status do servidor de histórico do Spark:
1. Abra a lista de recursos na IBM Cloud.
2. Clique em Serviços e softwares e selecione a sua instância para abrir a página de detalhes.
3. Selecione a guia História do Spark. O status atual do servidor é mostrado nesta página.
Se o status do servidor de históricos Spark for configurado como Started, também será possível clicar em Visualizar histórico do Spark para ativar a Web UI do servidor de históricos Spark em uma nova guia do navegador.
Para iniciar o servidor de históricos do Spark:
1. Na página Spark history, clique em Iniciar servidor de histórico.
2. Escolha a configuração do servidor e clique em Iniciar para iniciar o servidor de histórico do Spark.
Para parar o servidor de históricos do Spark:
1. Na página Spark history, clique em Stop history server.

Abrindo o servidor de históricos do Spark Web UI

É possível abrir a Web UI do histórico do Spark abrindo a página de detalhes da instância de serviço do Analytics Engine, alternando para a guia Histórico do Spark e clicando em Visualizar histórico do Spark.

Como alternativa, a URL da Web UI do servidor de históricos Spark pode ser obtida por meio de um terminal em serviço que é disponibilizado para você como uma chave de serviço (também conhecida como uma credencial de serviço). Consulte Recuperando terminais de serviço.

Assegure-se de que o servidor de históricos do Spark esteja em execução antes de abrir a Web UI.

Links de log sob as guias Stages e Executores da UI do servidor de histórico Spark não funcionarão como logs não são preservados com os eventos do Spark. Para revisar a tarefa e os logs do executor, ative a criação de logs da plataforma. Para obter detalhes, consulte Configurando e visualizando logs.

Para visualizar aplicativos mais antigos na IU do servidor de históricos do Spark, copie os eventos do spark do caminho antigo para o novo caminho usando o comando: ibmcloud cos object-copy -- bucket < destination_bucket> -- key /spark-events/<eventlog_app-1>-- copy-source /spark-events/<eventlog_app-1>

Acessando a API REST do servidor de histórico Spark

Além da UI da web, o servidor de histórico Spark também fornece uma API REST que pode ser consultada para visualizar os eventos do Spark gerados por suas aplicações Spark. A API REST do servidor de histórico Spark está disponível como um terminal de serviços em uma chave de serviço (também conhecida como credencial de serviço). Consulte Recuperando terminais de serviço.

Ao invocar a API REST do servidor de histórico Spark, você deve especificar o seu token IAM como um token suportável no cabeçalho de Autorização. E.g.

curl --location --request GET 'https://spark-console.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance id>/spark_history_api/v1/applications?status=completed' \
--header 'Authorization: Bearer <iam token>'

Veja a documentação da API REST do servidor de histórico do Spark para obter mais detalhes.

Customizando o servidor de históricos Spark

Por padrão, o servidor de históricos Spark consome 1 núcleo de CPU e 4 GiB de memória enquanto está em execução. Se desejar que seu servidor de históricos do Spark use mais recursos, será possível configurar as propriedades a seguir em suas configurações padrão da instância do Analytics Engine:

ae.spark.history-server.cores para o número de núcleos da CPU
ae.spark.history-server.memory para a quantidade de memória

Atualização dos núcleos de CPU e configurações de memória usando a API REST

Você pode atualizar os núcleos de CPU e as configurações de memória usando a API REST Analytics Engine da seguinte forma:

curl --location --request PATCH "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_id>/default_configs" \
--header "Authorization: bearer <iam_token>" \
--header 'Content-Type: application/json' \
--data-raw '{
        "ae.spark.history-server.cores": "2",
        "ae.spark.history-server.memory": "8G"
}'

Somente uma lista predefinida do driver Spark e do executor vCPUe combinações de tamanho de memória são suportadas Consulte Driver e executor do Spark suportados vCPU e combinações de memórias.

Customizações adicionais

Você pode customizar ainda mais o servidor de histórico Spark adicionando propriedades à configuração padrão do Spark de sua instância Analytics Engine. Ver padrão Opções de configuração do histórico do Spark.

Como esta é uma oferta gerenciada, você não pode customizar todas as opções de configuração padrão do Spark.

Para obter uma lista das configurações suportadas e valores padrão para configurações, consulte Configuração padrão do Spark.

Melhores práticas

Sempre pare o servidor de histórico do Spark quando não precisar mais utilizá-lo. Tenha em mente que o servidor de história do Spark consome CPU amd recursos de memória continuamente enquanto seu estado é Started.