Règles d'analyse syntaxique des journaux IBM Cloud Logs

Vous pouvez utiliser des règles d'analyse syntaxique pour traiter, analyser et restructurer les données du journal afin de les préparer au suivi et à l'analyse. Par exemple, vous pouvez extraire des informations sélectionnées, structurer des journaux non structurés ou supprimer des parties inutiles des journaux. Vous pouvez masquer les zones pour des raisons de conformité et corriger les journaux mal formatés. Vous pouvez empêcher l'ingestion des données de journal en fonction du contenu du journal et bien plus encore.

Dans IBM® Cloud Logs, vous pouvez utiliser des règles d'analyse syntaxique pour contrôler la structure de vos données avant qu'elles ne soient indexées dans OpenSearch.

Groupes de règles

Les règles d'analyse syntaxique sont organisées dans des groupes de règles. Chaque groupe a un nom et un ensemble de règles avec une relation logique entre eux. Les journaux sont traités selon l'ordre du groupe de règles (du début à la fin). Ils sont ensuite traités par l'ordre des règles au sein du groupe de règles et en fonction des opérateurs logiques qui les séparent (AND/OR). Les règles vous aident à traiter, analyser et restructurer les données de journal afin de préparer la surveillance et l'analyse. Pour plus d'informations, voir Utilisation de groupes de règles.

Types de règles

Vous pouvez configurer les règles d'analyse syntaxique suivantes:

Analyser : Convertir du texte non structuré au format JSON.
Extraire : extraire les valeurs sous forme de clés JSON sans analyser l'intégralité du journal.
Extraire JSON : extrait la valeur d'une clé JSON dans une zone de métadonnées.
Remplacez : remplacez la valeur d'une zone par une valeur de chaîne fixe pour corriger la structure du journal, modifier la gravité du journal ou brouiller les informations.
Block : permet de supprimer les journaux entrants à l'aide d'une expression régulière.
Extraction d'horodatage : remplacez l'horodatage du journal par un horodatage inclus dans le journal.
Supprimer des zones : supprimez des zones JSON dans un journal pour réduire le nombre de zones indexées.
Zone JSON Stringify : transformez une zone JSON en zone JSON Stringify pour réduire le nombre de zones indexées.
Analyse syntaxique de la zone JSON : Transformer les zones échappées ou sous forme de chaîne au format JSON.

Règles qui modifient le journal d'origine

Ces règles modifient les lignes de journal d'origine.

Analyse syntaxique
Extraction d'horodatage
Remplacer
Analyser la zone JSON

Règles qui ajoutent d'autres zones au journal d'origine

Ces règles ajoutent des zones à la ligne de journal pendant que les données de journal d'origine sont conservées.

Extraire JSON
Extraire

Règles qui suppriment des données

Ces règles suppriment les données d'une ligne de journal.

Bloc
Retirer
Zone JSON de chaîne (peut conserver le journal d'origine ou non)

Ordre d'exécution des règles

A mesure que les journaux sont ingérés, les groupes de règles sont appliqués dans l'ordre, à partir de la première règle configurée.

Spécifiez d'abord les règles de bloc et utilisez le comparateur de règles lorsque cela est possible pour éviter un traitement inutile des journaux et accélérer le traitement des données.

Au sein d'un groupe de règles:

La requête du comparateur de groupe de règles est appliquée en premier.

Seuls les journaux qui correspondent aux applications, aux sous-systèmes et aux niveaux de gravité configurés continuent d'appliquer les règles d'analyse syntaxique.
Les règles sont appliquées dans l'ordre à partir de la première règle jusqu'à ce qu'une règle soit suivie d'un opérateur logique OR.

Les règles sont appliquées immédiatement pour que la sortie d'une règle devienne l'entrée de la suivante.

Les opérateurs OR et AND du groupe ne suivent pas l'ordre mathématique des opérations.

L'ordre d'exécution des groupes de règles et des règles est important et définit la structure du journal final.