Parametri di output del plug-in per inviare dati a un'istanza IBM Cloud Logs

Elenco dei parametri che si possono usare per configurare il plugin di output per inviare i dati a un'istanza di IBM Cloud Logs nel sito Agent di registrazione.

FluentBit

Parametri Fluentbit
Chiave Descrizione Valore predefinito Scelte di valore Obbligatorio
Name Nome del plug-in. Deve essere impostato su logger-icl-output-plugin n/d logger-icl-output-plugin true
Id ID univoco del plug-in. n/d qualsiasi stringa true
Match Utilizzare per specificare come abbinare gli eventi. n/d qualsiasi stringa true
Retry_Limit Riprova l'elaborazione se il plug-in non riesce a inviare i dati a Cloud Logs.
Impostare False se si desidera riprovare per sempre, altrimenti impostare un valore intero.
Per ulteriori informazioni su come configurare i tentativi, vedere qui		 1 False o N >= 1 true
Workers Il numero di thread worker contemporanei che inviano a IBM Cloud Logs.
Per aumentare la velocità dei registri inviati a IBM Cloud Logs, è possibile aumentare il numero di thread contemporanei inviati da ciascun agente.
Ulteriori informazioni		 1 1 o più false

Parametri connessione

Parametri connessione
Chiave Descrizione Valore predefinito Scelte di valore Obbligatorio
Target_Host Hostname di Ingest da utilizzare per la connessione n/d qualsiasi endpoint url true
Target_Port Porta di Ingest da utilizzare per la connessione 443 qualsiasi numero di porta false
Target_Path Percorso URL da utilizzare per la connessione /logs/v1/singles qualsiasi stringa false

Parametri di registrazione

Parametri di registrazione
Chiave Descrizione Valore predefinito Scelte di valore Obbligatorio
Logging_Level Specificare il livello di log da utilizzare nel plug-in info debug
info
error		 false
Package_Size Specificare la dimensione del pacchetto in KB o MB 2 qualsiasi numero seguito da un'unità, ad esempio 2MB, 10KB. Deve essere inferiore a 2MB false

Parametri di autenticazione

Parametri di autenticazione
Chiave Descrizione Valore predefinito Scelte di valore Obbligatorio
Authentication_Mode Specificare la modalità di autenticazione TrustedProfile TrustedProfile
IAMAPIKey		 false
IAM_Environment Specificare l'ambiente IAM per l'autenticazione Production Production specifica l'endpoint pubblico 'iam.cloud.ibm.com '

'PrivateProduction specifica l'endpoint privato 'private.iam.cloud.ibm.com '

'Custom specifica l'endpoint specificato dal parametro 'IAM_Host

 false
IAM_Host Il nome host IAM per un ambiente IAM personalizzato n/d Il nome host IAM completamente qualificato, ad esempio: " private.eu-de.iam.cloud.ibm.com Utilizzato solo quando " IAM_Environment è impostato su " Custom
CR_Token_Mount_Path Percorso in cui è presente il CRToken /var/run/secrets/tokens/vault-token qualsiasi stringa false - Utilizzato solo quando Authentication_Mode è impostato su TrustedProfile
Trusted_Profile_ID ID del profilo di fiducia da utilizzare n/d qualsiasi stringa true - Utilizzato solo quando Authentication_Mode è impostato su TrustedProfile
IAM_API_key La chiave api da utilizzare; per ulteriori informazioni su come specificare una chiave api, vedere la nota seguente n/d qualsiasi stringa false

Quando Authentication_Mode è impostato su IAMAPIKey, la chiave api deve essere specificata in uno dei tre modi seguenti. Questi sono, in ordine di precedenza, i seguenti:

  1. Utilizzando il campo IAM_API_key nella configurazione
    • Si raccomanda vivamente di non inserire una chiave api direttamente nel file di configurazione. Invece, un valore della forma ${CUSTOM_ENVIRONMENT_VARIABLE} può essere usato per recuperare variabili d'ambiente diverse da quelle indicate di seguito
  2. Utilizzando una variabile d'ambiente denominata IAM_API_KEY_<output_ID>
    • Dove <output_ID> è l'ID dato al plug-in di uscita come specificato nel parametro Id, con eventuali trattini (-) sostituiti da caratteri di sottolineatura (_)
  3. Utilizzando una variabile d'ambiente denominata IAM_API_KEY

Se non viene fornito alcun valore in una delle opzioni precedenti, l'inizializzazione del plug-in fallirà.

Considerazioni sulla configurazione di Fluentbit Agent Workers

Un 'worker, nel contesto del Agent di registrazione, rappresenta un thread della CPU disponibile per il Agent di registrazione per la gestione dei log.

È possibile configurare il numero di lavoratori disponibili nella configurazione del plugin di output.

  • Nella configurazione predefinita di fluent-bit, 'Workers=1 è la configurazione predefinita e funziona per i carichi di lavoro che generano volumi di log inferiori a 1MB/sec.
  • In un ambiente con volumi di registrazione maggiori, superiori a 1 MB/sec, potrebbe essere necessario aumentare la configurazione di 'Workers affinché il plug-in di output sia in grado di elaborare i registri consumati.
  • Il grafico di Helm per le implementazioni Openshift e Kubernetes è configurato con 4 worker, poiché questa è generalmente una buona impostazione per la maggior parte dei carichi di lavoro Kubernetes.

Utilizzare la variabile outputWorkers Helm per gestire l'impostazione dei Lavoratori per il plugin di output se si utilizza il grafico Helm.

Ecco alcune considerazioni sull'impostazione del valore 'Workers nel vostro ambiente:

  • Ridurre il numero di lavoratori da 4 a 2 potrebbe ridurre i requisiti di CPU per il Agent di registrazione.

  • Aumentando il numero di worker a più di 4 senza aumentare anche il limite di CPU in un ambiente Kubernetes, di solito non si otterrà un maggior numero di log elaborati dal Agent di registrazione. A un certo punto la CPU limiterà il throughput e dovrà essere aumentata.

  • Se nei log di Agent di registrazione si vedono messaggi che riportano '[input] pausing tail seguito da '[input] resume tail, ciò indica che il plugin di output che invia i log non è in grado di tenere il passo con il volume di log generato. Se l'utilizzo della CPU non ha raggiunto il limite di CPU definito, l'aumento del numero di worker di solito aumenta il throughput. Se l'utilizzo della CPU è vicino al limite, è necessario aumentare il limite della CPU oltre ad aumentare il numero di worker. Va bene se il messaggio " [input] pausing tail viene emesso poche volte all'ora. Se questo messaggio si ripete più volte al minuto, si dovrebbe prendere in considerazione una modifica della configurazione.

  • Se viene visualizzato il messaggio " [ warn] [input:tail:tail.0] purged rotated file while data ingestion is paused, consider increasing rotate_wait, di solito indica che il volume di input è molto più veloce di quello che l'agente è in grado di elaborare. Se non si aumenta il numero di lavoratori o di CPU (o entrambi), i registri risulteranno mancanti, poiché i file ruotati non vengono più elaborati a causa della rotazione dei file e l'ingestione è in pausa. Se si verifica questo errore, è necessario aumentare i limiti dei lavoratori o della CPU (o entrambi).