Parâmetros de plug-in de saída para enviar dados para uma instância de IBM Cloud Logs

Lista de parâmetros que você pode usar para configurar o plug-in de saída para enviar dados a uma instância do IBM Cloud Logs no Agente de criação de log.

FluentBit parâmetros

Parâmetros do Fluentbit
Chave Descrição Padrão Opções de valor Obrigatório
Name Nome do plug-in. Deve ser definido como logger-icl-output-plugin n/d logger-icl-output-plugin verdadeiro
Id ID exclusivo para o plug-in. n/d Qualquer cadeia verdadeiro
Match Use para especificar como fazer a correspondência de eventos. n/d Qualquer cadeia verdadeiro
Retry_Limit Tente novamente o processamento se o plug-in não conseguir enviar dados para o Cloud Logs.
Defina False se quiser tentar novamente para sempre; caso contrário, defina como um valor inteiro.
Para obter mais informações sobre como configurar novas tentativas, consulte aqui		 1 False ou N >= 1 verdadeiro
Workers O número de threads de trabalho simultâneos que enviam para IBM Cloud Logs.
Para aumentar a taxa de transferência de logs enviados para IBM Cloud Logs, você pode aumentar o número de threads simultâneos enviados de cada agente.
Mais informações		 1 1 ou mais Não

Parâmetros de conexão

Parâmetros de conexão
Chave Descrição Padrão Opções de valor Obrigatório
Target_Host Nome do host de ingestão a ser usado para conexão n/d qualquer ponto de extremidade de url verdadeiro
Target_Port Porta de ingestão a ser usada para conexão 443 qualquer número de porta Não
Target_Path Caminho URL a ser usado para conexão /logs/v1/singles Qualquer cadeia Não

Parâmetros de Criação de Log

Parâmetros de Criação de Log
Chave Descrição Padrão Opções de valor Obrigatório
Logging_Level Especifique o nível de registro a ser usado no plug-in info debug
info
error		 Não
Package_Size Especifique o tamanho do pacote em KB ou MB 2 qualquer número seguido de uma unidade, por exemplo, 2MB, 10KB. Deve ser menor que 2MB Não

Parâmetros de autenticação

Parâmetros de autenticação
Chave Descrição Padrão Opções de valor Obrigatório
Authentication_Mode Especificar o modo de autenticação TrustedProfile TrustedProfile
IAMAPIKey		 Não
IAM_Environment Especificar o ambiente IAM para autenticação Production Production especifica o ponto de extremidade público ' iam.cloud.ibm.com '

' PrivateProduction especifica o ponto de extremidade privado ' private.iam.cloud.ibm.com '

' Custom especifica um ponto de extremidade especificado pelo parâmetro ' IAM_Host

 Não
IAM_Host O nome de host do IAM para um ambiente IAM personalizado n/d O nome do host IAM totalmente qualificado, por exemplo: " private.eu-de.iam.cloud.ibm.com Usado somente quando " IAM_Environment é definido como " Custom
CR_Token_Mount_Path Caminho onde o CRToken está presente /var/run/secrets/tokens/vault-token Qualquer cadeia false - Usado somente quando Authentication_Mode é definido como TrustedProfile
Trusted_Profile_ID ID do perfil confiável a ser usado n/d Qualquer cadeia true - Usado somente quando Authentication_Mode é definido como TrustedProfile
IAM_API_key A chave da API a ser usada; consulte a nota abaixo para obter mais informações sobre como especificar uma chave da API n/d Qualquer cadeia Não

Quando Authentication_Mode é definido como IAMAPIKey, a chave api deve ser especificada de uma das três maneiras. Essas são, em ordem de precedência, as seguintes:

  1. Usando o campo IAM_API_key na configuração
    • É altamente recomendável não inserir uma chave de API diretamente no arquivo de configuração. Em vez disso, um valor do formato ${CUSTOM_ENVIRONMENT_VARIABLE} pode ser usado para recuperar variáveis de ambiente diferentes das mencionadas abaixo
  2. Usando uma variável de ambiente chamada IAM_API_KEY_<output_ID>
    • Onde <output_ID> é a ID fornecida ao plug-in de saída, conforme especificado no parâmetro Id, com todos os traços (-) substituídos por sublinhados (_)
  3. Usando uma variável de ambiente chamada IAM_API_KEY

Se nenhum valor for fornecido em nenhuma das opções acima, a inicialização do plug-in falhará.

Considerações sobre a configuração do Fluentbit Agent Workers

Um ' worker, no contexto do Agente de criação de log, representa um thread da CPU que está disponível para o Agente de criação de log para tratar os registros.

Você pode configurar o número de trabalhadores disponíveis na configuração do plug-in de saída.

  • Na configuração padrão do fluent-bit, " Workers=1 é a configuração padrão e isso funcionará para cargas de trabalho que geram volumes de registro inferiores a 1MB/sec.
  • Em um ambiente com volumes de registro maiores, mais de 1 MB/s, talvez seja necessário aumentar a configuração ' Workers para que o plug-in de saída possa processar os registros que estão sendo consumidos.
  • O gráfico Helm para implantações do Openshift e do Kubernetes é configurado com 4 workers, pois essa é geralmente uma boa configuração para a maioria das cargas de trabalho Kubernetes.

Use a variável outputWorkers Helm para gerenciar a configuração Workers do plugin de saída se estiver usando o gráfico Helm.

Aqui estão algumas considerações ao definir o valor " Workers em seu ambiente:

  • A redução do número de trabalhadores de 4 para 2 pode reduzir os requisitos de CPU do Agente de criação de log.

  • Aumentar o número de trabalhadores para mais de 4 sem também aumentar o limite de CPU em um ambiente Kubernetes normalmente não resultará em mais registros processados pelo Agente de criação de log. Há um ponto em que a CPU limitará a taxa de transferência e deverá ser aumentada também.

  • Se você vir mensagens nos logs Agente de criação de log informando " [input] pausing tail seguido de " [input] resume tail, isso é uma indicação de que o plug-in de saída que está enviando os logs não consegue acompanhar o volume de logs gerados. Se o uso da CPU não tiver atingido o limite de CPU definido, o aumento do número de workers geralmente aumentará a taxa de transferência. Se o uso da CPU estiver próximo do limite, talvez seja necessário aumentar o limite da CPU, além de aumentar o número de workers. Não há problema se a mensagem " [input] pausing tail for emitida algumas vezes por hora. Se essa mensagem ocorrer muitas vezes por minuto, você deve considerar uma alteração na configuração.

  • Se você vir a mensagem " [ warn] [input:tail:tail.0] purged rotated file while data ingestion is paused, consider increasing rotate_wait, isso geralmente é uma indicação de que o volume de entrada é significativamente mais rápido do que o agente é capaz de processar. Deixar de aumentar o número de trabalhadores ou de CPU (ou ambos) levará à falta de registros, pois os arquivos rotacionados não estão mais sendo processados devido à rotação de arquivos e a ingestão está pausada. Você precisa aumentar os limites de workers ou de CPU (ou ambos) se estiver encontrando esse erro.