Encaminhamento de registros para o IBM Cloud Logs

Os logs da plataforma são logs expostos aos usuários por vários serviços na plataforma IBM Cloud. IBM Analytics Engine suporta o encaminhamento de logs do serviço IBM Analytics Engine para uma instância IBM Cloud Logs que você ativou para receber logs da plataforma.

  • Os logs da plataforma são regionais.

    É possível monitorar logs do IBM Analytics Engine no IBM Cloud na região onde o serviço está disponível.

  • Você pode configurar apenas uma instância do IBM Cloud Logs por região e por conta IBM Cloud para coletar logs de plataforma nesse local.

    Você pode ter várias instâncias IBM Cloud Logs em um local. No entanto, apenas uma instância em um local (região) pode ser configurada para receber logs de serviços IBM Cloud como IBM Analytics Engine naquele local do IBM Cloud.

    Além disso, os registros que são gerados por uma instância IBM Analytics Engine pertencente a uma conta são encaminhados para uma instância IBM Cloud Logs na mesma conta IBM Cloud.

Para verificar se o serviço IBM Cloud Logs está configurado para receber os registros da plataforma, consulte o painel do Observability.

Pré-requisito para ativar a criação de log da plataforma

Para visualizar os logs da plataforma IBM Analytics Engine, deve-se usar o painel Observabilidade em IBM Cloud para configurar a criação de log da plataforma. Consulte Configurando logs da plataforma por meio do painel Observabilidade para obter as etapas que você precisa seguir para ativar a criação de log por meio do painel Observabilidade.

APIs de registro

Depois de ter ativado a criação de log da plataforma por meio do painel Observabilidade, continue com as etapas nas seções a seguir para saber como usar os terminais de API para ativar a criação de log, desativar a criação de log e visualizar a configuração de criação de log

As chamadas API de criação de log requerem o GUID da instância de serviço. Se não anotou o GUID, consulte Recuperando o GUID de uma instância serverless.

Agora, dois terminais de API de criação de log são expostos:

  • log_forwarding_config
  • logging. Esse terminal de API foi descontinuado e será descontinuado em breve Embora você possa usar esse terminal, deve começar a usar o terminal log_forwarding_config.

Ativando o encaminhamento de log do IBM Analytics Engine

Para ativar o encaminhamento de registros da plataforma IBM Analytics Engine para o IBM Cloud Logs, invoque a seguinte API em uma instância Analytics Engine existente.

Há dois métodos que você pode usar para ativar logs de encaminhamento:

  • Padrão: nesse caso, você apenas coloca uma solicitação para ativar o encaminhamento de log e os logs relacionados à origem ou origens de log padrão (spark-driver) começarão a ser encaminhados. Isso pode ser feito de uma das seguintes maneiras:

    • Usando o terminal de API do log_forwarding_config :
      curl -X PUT https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/log_forwarding_config -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d '{"enabled":true}'
      
    • Usando o terminal de API do logging (descontinuado):
      curl -X PUT https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/logging -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d '{"enable":true}
      
  • Customizado: com essa opção, você obtém mais controle sobre a configuração de encaminhamento de log.. Por exemplo, é possível especificar as origens dos logs que você deseja que sejam encaminhadas Você também pode optar por associar algumas tags aos logs, que podem ser usadas posteriormente no IBM Cloud Logs como palavras-chave de pesquisa para restringir a pesquisa nos logs aplicáveis. Isso pode ser feito de uma das seguintes maneiras:

    • Usando o terminal de API do log_forwarding_config :
      curl -X PUT https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/log_forwarding_config -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d ' {"enabled":true,"sources": ["spark-driver", "spark-executor"],"tags": ["<tag_1>", "<tag_2>",...]} '
      
    • Usando o terminal de API do logging (descontinuado):
      curl -X PUT https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/logging -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d ' {"enable":true,"components": ["spark-driver", "spark-executor"],"tags": ["<tag_1>", "<tag_2>",...]} '
      

Desativando a criação de log da plataforma por meio do IBM Analytics Engine

Desative o encaminhamento dos logs da plataforma IBM Analytics Engine para o IBM Cloud Logs, de uma das seguintes maneiras.

  • Usando o terminal de API do log_forwarding_config :

    curl -X PATCH https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/log_forwarding_config -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d '{"enabled":false}'
    
  • Usando o terminal de API do logging (descontinuado):

    curl -X PATCH https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/logging -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d '{"enable":false}'
    

Visualizando a configuração de encaminhamento de log de uma instância do IBM Analytics Engine

Visualize a configuração de criação de log atual de uma instância do IBM Analytics Engine, de uma das seguintes maneiras:

  • Usando o terminal de API do log_forwarding_config :

    curl -X GET https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/log_forwarding_config -H "Authorization: Bearer $TOKEN"
    
  • Usando o terminal de API do logging (descontinuado):

    curl -X GET https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/logging -H "Authorization: Bearer $TOKEN"
    

Exemplos de pesquisas de registro IBM Analytics Engine no painel do IBM Cloud Logs

É possível limitar a procura para os logs da plataforma relacionados ao IBM Analytics Engine conforme a seguir:

  1. Clique em " Sources no painel do IBM Cloud Logs e escolha " ibmanalyticsengine para obter os registros de IBM Analytics Engine.
  2. Para limitar ainda mais sua procura, é possível inserir e procurar quaisquer palavras-chave relacionadas ao seu aplicativo Spark na janela de procura.

Exemplos de procuras

Esta seção lista exemplos de como é possível procurar por logs Todos os exemplos usam os seguintes valores de amostra:

  • ID da instância do IBM Analytics Engine: ' 4308f7a6-2cfd-4d7e-b7a7-678e71a27957
  • ID do aplicativo Spark: 5438585f-6413-4bb2-9251-8162d34f3dc3
  • Origens para as quais o encaminhamento de log está ativado: spark-driver e spark-executor
  • Tags associadas: prod e us-south

A imagem a seguir mostra um exemplo dos resultados de pesquisa retornados no painel do IBM Cloud Logs. Na parte inferior da imagem, é possível ver o campo de entrada de procura no qual você insere suas consultas de procura No exemplo, o ID do aplicativo 5438585f-6413-4bb2-9251-8162d34f3dc3 e a origem spark-driver foram inseridos.

Exemplos de procuras:

  • Para recuperar os logs para todos os aplicativos Spark enviados em uma instância específica do IBM Analytics Engine, passe o ID da instância na janela de procura:

    4308f7a6-2cfd-4d7e-b7a7-678e71a27957
    
  • Para buscar os logs para um aplicativo Spark específico, é possível passar:

    • Uma combinação do ID da instância do IBM Analytics Engine e do ID do aplicativo Spark:
      4308f7a6-2cfd-4d7e-b7a7-678e71a27957 5438585f-6413-4bb2-9251-8162d34f3dc3
      
    • Apenas o ID do aplicativo:
      5438585f-6413-4bb2-9251-8162d34f3dc3
      
  • Para procurar os logs principais do Spark de um aplicativo, é possível passar:

    • Uma combinação do ID da instância do IBM Analytics Engine, do ID do aplicativo Spark e da palavra-chave spark-driver:
      4308f7a6-2cfd-4d7e-b7a7-678e71a27957 5438585f-6413-4bb2-9251-8162d34f3dc3 spark-driver
      
    • Uma combinação do ID do aplicativo e a palavra-chave spark-driver:
      5438585f-6413-4bb2-9251-8162d34f3dc3 spark-driver
      
  • Para procurar por vários nomes de origem de log, é possível passar:

    • Uma combinação do ID da instância do IBM Analytics Engine, do ID do aplicativo Spark e dos nomes de origem:
      4308f7a6-2cfd-4d7e-b7a7-678e71a27957 5438585f-6413-4bb2-9251-8162d34f3dc3 (spark-driver OR spark-executor-2)
      
    • Uma combinação do ID do aplicativo com os nomes de origem de log:
      5438585f-6413-4bb2-9251-8162d34f3dc3 (spark-driver OR spark-executor-2)
      
  • Para obter os logs relacionados a todos os aplicativos em execução em uma instância específica dentro da região us-south e do ambiente prod, é possível inserir o seguinte no campo de procura:

    4308f7a6-2cfd-4d7e-b7a7-678e71a27957 "prod us-south"