Description de l'indexation et du mappage de zones
Pour interroger au mieux vos logs dans Informations de priorité, il est important de comprendre comment IBM Cloud Logs indexe vos données après leur analyse.
L'indexation des journaux vous permet d'extraire rapidement la correspondance à l'aide des journaux suivants:
- Recherches de texte libre
- Expressions régulières
- Recherches dans les zones
Il est recommandé de sérialiser vos journaux au format JSON pour obtenir la valeur maximale des fonctions d'analyse IBM Cloud Logs. Voir Configuration de texte non structuré en JSON pour plus d'informations sur l'analyse des journaux non structurés en JSON.
Types de données
IBM Cloud Logs prend en charge les types de données suivants:
- Texte
-
Ce type représente un contenu non structuré et lisible par l'utilisateur qui est analysé en termes avant l'indexation.
- Mot clé
-
Ce type représente le texte qui ne passe pas par l'analyseur avant l'indexation. Ce type de données convient aux expressions régulières, à l'agrégation et au tri.
La syntaxe à utiliser pour utiliser le type de données de mot clé dans votre requête est:
<fieldName>.keyword.IBM Cloud Logs ne peut pas créer de type de mot clé lorsqu'une zone comporte plus de 256 caractères.
- Numérique
-
Ce type convient aux requêtes de plage et aux agrégations arithmétiques (
avg,max,min,sum).La syntaxe permettant d'utiliser le type de données numériques dans votre requête est la suivante:
<fieldName>.numeric. - Date
-
Ce type vous permet de filtrer par horodatage ou de tracer des graphiques de série temporelle. Les valeurs doivent être formatées en millisecondes d'époque.
- Géopoint
-
Ce type vous permet de tracer des paires de longitude et de latitude sur une carte Grafana.
- Objet
-
Ce type représente une hiérarchie. Cela signifie qu'il peut contenir des zones de tout autre type (y compris des objets).
Remarques sur les types de données
Tenez compte des points suivants lors de l'interrogation des données:
-
Le mappage explicite est pris en charge pour les horodatages et les géopoints. L'ajout de
_timestampou de_geopointà votre nom de champ le mappe respectivement en tant que date ou en tant que géopoint. Par exemple, une zone nomméeduration_timestampest mappée en tant que date. -
Le mappage dynamique est utilisé pour toutes les autres zones. Cela signifie qu'au moment de l'indexation, la valeur d'une nouvelle zone détermine le type de données mappé.
-
Les tableaux sont des JSON valides. Toutefois, il n'existe pas de type de données de tableau dédié dans IBM Cloud Logs. Ce qui signifie que :
-
Un champ peut contenir plusieurs valeurs et toutes les valeurs doivent être du même type de données. Sinon, une exception de mappage se produit.
-
La première valeur d'un tableau détermine le mappage de zones.
-
Pour un tableau d'objets, il n'est pas possible d'interroger chaque objet indépendamment.
-
-
Chaque zone du journal est mappée en tant que l'un des trois types de données suivants:
- Texte, objet, date ou géopoint
- Mot clé
- Numérique
Vérification du nombre de champs d'index
Pour vérifier le nombre de champs d'index par instance et le nombre de champs utilisés, dans la barre de navigation, cliquez sur l'icône Utilisation > Mapping Stats.
Vous pouvez obtenir le nombre total quotidien d'index utilisés dans la section Clés utilisées aujourd'hui.
Pour une instance de service, la limite quotidienne par défaut des champs d'index est fixée à 3000.
Le compteur d'index est remis à zéro à minuit UTC.
Que se passe-t-il lorsque vous atteignez le nombre de champs d'index par jour ?
Lorsque vous atteignez le nombre de champs d'indexation par jour, les nouveaux champs ne sont pas indexés jusqu'à ce que le compteur soit réinitialisé pour le jour suivant.
Un point d'exclamation s'affiche sur les champs qui présentent des exceptions de mappage et n'ont pas pu être indexés.
Recherche de données comprenant des exceptions de cartographie
Lorsque vous effectuez une recherche dans Informations de priorité, les enregistrements de journaux qui incluent une exception de mappage peuvent être recherchés en utilisant une requête en texte libre pour les champs qui ne sont pas indexés et en utilisant des paires clé:valeur pour les champs qui sont indexés.
Si vous avez un panier de données associé à l'instance, vous pouvez rechercher des journaux dans Tous les journaux. Vous pouvez effectuer une recherche à l'aide d'un texte libre ou de paires clé/valeur.
Alertes
Les alertes ne sont pas affectées par les exceptions de mappage de données et continueront à être déclenchées normalement.