Paramètres de sortie du plug-in pour envoyer des données à une instance IBM Cloud Logs

Liste des paramètres que vous pouvez utiliser pour configurer le plugin de sortie afin d'envoyer des données à une instance IBM Cloud Logs dans le site Agent de journalisation.

FluentBit paramètres

Paramètres du Fluentbit
Clé Description Valeur par défaut Choix des valeurs Obligatoire
Name Nom du plug-in. Doit être réglé sur logger-icl-output-plugin non applicable logger-icl-output-plugin Oui
Id ID unique pour le plug-in. non applicable Toute chaîne Oui
Match Permet de spécifier la manière dont les événements doivent être pris en compte. non applicable Toute chaîne Oui
Retry_Limit Réessayer le traitement si le plug-in ne parvient pas à envoyer des données à Cloud Logs.
Définissez False si vous voulez réessayer pour toujours, sinon définissez une valeur entière.
Pour plus d'informations sur la configuration des tentatives, voir ici		 1 False ou N >= 1 Oui
Workers Nombre de threads de travail simultanés envoyant des données à IBM Cloud Logs.
Afin d'augmenter le débit des journaux envoyés à IBM Cloud Logs, vous pouvez augmenter le nombre de threads simultanés envoyés par chaque agent.
Informations complémentaires		 1 1 ou plus false

Paramètres de connexion

Paramètres de connexion
Clé Description Valeur par défaut Choix des valeurs Obligatoire
Target_Host Nom d'hôte de l'ingest à utiliser pour la connexion non applicable n'importe quel point d'accès à l'url Oui
Target_Port Port d'ingestion à utiliser pour la connexion 443 tout numéro de port false
Target_Path Chemin d'accès à l' URL à utiliser pour la connexion /logs/v1/singles Toute chaîne false

Paramètres de consignation

Paramètres de consignation
Clé Description Valeur par défaut Choix des valeurs Obligatoire
Logging_Level Spécifier le niveau de journalisation à utiliser dans le plug-in info debug
info
error		 false
Package_Size Spécifiez la taille du paquet en Ko ou en Mo 2 tout nombre suivi d'une unité, par exemple, 2MB, 10KB. Doit être inférieur à 2MB false

Paramètres d'authentification

Paramètres d'authentification
Clé Description Valeur par défaut Choix des valeurs Obligatoire
Authentication_Mode Spécifier le mode d'authentification TrustedProfile TrustedProfile
IAMAPIKey		 false
IAM_Environment Spécifier l'environnement IAM pour l'authentification Production Production " indique le point de terminaison public " iam.cloud.ibm.com "

" PrivateProduction " indique le point de terminaison privé " private.iam.cloud.ibm.com "

" Custom " indique un point de terminaison spécifié par le paramètre " IAM_Host

 false
IAM_Host Le nom d'hôte IAM pour un environnement IAM personnalisé non applicable Le nom complet de l'hôte IAM, par exemple : " private.eu-de.iam.cloud.ibm.com Utilisé uniquement lorsque " IAM_Environment est défini comme " Custom
CR_Token_Mount_Path Chemin où le CRToken est présent /var/run/secrets/tokens/vault-token Toute chaîne false - Utilisé uniquement lorsque Authentication_Mode est défini sur TrustedProfile
Trusted_Profile_ID ID du profil de confiance à utiliser non applicable Toute chaîne true - Utilisé uniquement lorsque Authentication_Mode est défini sur TrustedProfile
IAM_API_key La clé api à utiliser; voir la note ci-dessous pour plus d'informations sur la spécification d'une clé api non applicable Toute chaîne false

Lorsque Authentication_Mode est défini sur IAMAPIKey, la clé api doit être spécifiée de l'une des trois façons suivantes. Il s'agit, par ordre de priorité, des éléments suivants :

  1. Utilisation du champ IAM_API_key dans la configuration
    • Il est fortement recommandé de ne pas insérer une clé api directement dans le fichier de configuration. Au lieu de cela, une valeur de la forme ${CUSTOM_ENVIRONMENT_VARIABLE} peut être utilisée pour récupérer des variables d'environnement autres que celles mentionnées ci-dessous
  2. En utilisant une variable d'environnement nommée IAM_API_KEY_<output_ID>
    • Où <output_ID> est l'ID donné au plug-in de sortie tel que spécifié dans le paramètre Id, les tirets (-) étant remplacés par des traits de soulignement (_)
  3. En utilisant une variable d'environnement nommée IAM_API_KEY

Si aucune valeur n'est fournie dans l'une des options ci-dessus, l'initialisation du plug-in échouera.

Considérations sur la configuration de Fluentbit Agent Workers

Un " worker, dans le contexte de Agent de journalisation, représente un thread de l'unité centrale dont dispose Agent de journalisation pour traiter les journaux.

Vous pouvez configurer le nombre de travailleurs disponibles dans la configuration du plugin de sortie.

  • Dans la configuration par défaut de fluent-bit, 'Workers=1 est la configuration par défaut et cela fonctionnera pour les charges de travail générant des volumes de logs inférieurs à 1MB/sec
  • Dans un environnement où les volumes de journalisation sont plus importants (plus de 1 Mo/s), il peut être nécessaire d'augmenter la configuration " Workers pour que le plug-in de sortie puisse traiter les journaux consommés.
  • Le graphique Helm pour les déploiements Openshift et Kubernetes est configuré avec 4 travailleurs car il s'agit généralement d'un bon paramètre pour la plupart des charges de travail Kubernetes.

Utilisez la variable outputWorkers Helm pour gérer le paramètre Workers pour le plugin de sortie si vous utilisez le graphique Helm.

Voici quelques considérations à prendre en compte lors de la définition de la valeur " Workers dans votre environnement :

  • La réduction du nombre de travailleurs de 4 à 2 pourrait réduire les besoins en CPU de l'Agent de journalisation

  • Augmenter le nombre de travailleurs à plus de 4 sans augmenter également la limite de CPU dans un environnement Kubernetes n'entraînera généralement pas plus de logs traités par le Agent de journalisation Il y a un moment où l'unité centrale limite le débit et doit également être augmentée.

  • Si vous voyez des messages dans les journaux Agent de journalisation signalant " [input] pausing tail suivi de près par " [input] resume tail, cela indique que le plugin de sortie qui envoie les journaux n'est pas en mesure de suivre le volume des journaux générés. Si l'utilisation de l'unité centrale n'a pas atteint la limite définie, l'augmentation du nombre de travailleurs permettra généralement d'accroître le débit. Si l'utilisation du CPU est proche de la limite, il peut être nécessaire d'augmenter la limite du CPU en plus d'augmenter le nombre de travailleurs. Il n'y a pas de problème si le message " [input] pausing tail est émis plusieurs fois par heure. Si ce message apparaît plusieurs fois par minute, vous devez envisager de modifier votre configuration.

  • Si vous voyez le message " [ warn] [input:tail:tail.0] purged rotated file while data ingestion is paused, consider increasing rotate_wait, cela indique généralement que le volume d'entrée est beaucoup plus rapide que ce que l'agent est capable de traiter. Si vous n'augmentez pas le nombre de travailleurs ou le nombre d'unités centrales (ou les deux), des journaux manqueront, car les fichiers ayant fait l'objet d'une rotation ne sont plus traités en raison de la rotation des fichiers et l'ingestion est interrompue. Vous devez augmenter les limites de travailleurs ou de CPU (ou les deux) si vous rencontrez cette erreur.