Contrôle des données ingérées pour la recherche dans IBM Cloud Logs

Vous pouvez contrôler les données qui sont ingérées et qui sont disponibles pour la recherche dans IBM Cloud Logs. Les données peuvent être supprimées lors de l'ingestion en utilisant des politiques TCO ou des règles d'analyse.

Flux des journaux via IBM Cloud Logs
Flux des journaux via IBM Cloud Logs

Règle TCO permettant de supprimer des journaux

Vous pouvez configurer des politiques de TCO :

pour gérer les logs à travers différents pipelines de données en fonction de l'état d'avancement du projet

Vous pouvez également définir une politique TCO pour supprimer les journaux en fonction du nom de l'application, du nom du sous-système et de la gravité. La règle TCO est appliquée lorsque des données sont reçues par le noeud final d'ingestion et avant tout autre traitement IBM Cloud Logs.

Utilisation de règles d'analyse syntaxique

Une fois les règles TCO appliquées, vous pouvez supprimer ou supprimer des données dans les journaux ingérés à l'aide de règles d'analyse syntaxique.

Règle d'analyse syntaxique de bloc

Vous pouvez supprimer les journaux ingérés qui n'ont pas été supprimés par les stratégies TCO à l'aide de la règle d'analyse syntaxique block. La règle block supprime les journaux en fonction d'une expressionRegEx.

Si vous configurez un groupe de règles, tout nom d'application, nom de sous-système et filtrage de gravité sont appliqués avant que la règle block ne soit appliquée.

Lorsque vous définissez une règle block, vous pouvez sélectionner Afficher les journaux bloqués sur LiveTail et les archiver sur IBM Cloud Object Storage. Les journaux abandonnés sont sauvegardés dans le pipeline Stockage et recherche. Vous pouvez rechercher les journaux à partir des données archivées. Ainsi, les données de journal ingérées ne sont pas perdues.

L'utilisation de la règle block permet de déplacer les journaux vers une priorité basse de manière plus affinée que l'utilisation de règles de coût total de possession. Pour des raisons de performances, spécifiez des règles block dans un groupe de règles avant toute autre règle d'analyse syntaxique.

Supprimer la règle d'analyse syntaxique

Vous pouvez supprimer des parties de journaux ingérés dont vous n'avez pas besoin à l'aide de la règle d'analyse syntaxique remove.

En supprimant les données de journal dont vous n'avez pas besoin, vous pouvez contrôler les coûts de IBM Cloud Logs.