Description de l'indexation et du mappage de zones

Pour interroger au mieux vos logs dans Informations de priorité, il est important de comprendre comment IBM Cloud Logs indexe vos données après leur analyse.

L'indexation des journaux vous permet d'extraire rapidement la correspondance à l'aide des journaux suivants:

  • Recherches de texte libre
  • Expressions régulières
  • Recherches dans les zones

Il est recommandé de sérialiser vos journaux au format JSON pour obtenir la valeur maximale des fonctions d'analyse IBM Cloud Logs. Voir Configuration de texte non structuré en JSON pour plus d'informations sur l'analyse des journaux non structurés en JSON.

Types de données

IBM Cloud Logs prend en charge les types de données suivants:

Texte

Ce type représente un contenu non structuré et lisible par l'utilisateur qui est analysé en termes avant l'indexation.

Mot clé

Ce type représente le texte qui ne passe pas par l'analyseur avant l'indexation. Ce type de données convient aux expressions régulières, à l'agrégation et au tri.

La syntaxe à utiliser pour utiliser le type de données de mot clé dans votre requête est: <fieldName>.keyword.

IBM Cloud Logs ne peut pas créer de type de mot clé lorsqu'une zone comporte plus de 256 caractères.

Numérique

Ce type convient aux requêtes de plage et aux agrégations arithmétiques (avg, max, min, sum).

La syntaxe permettant d'utiliser le type de données numériques dans votre requête est la suivante: <fieldName>.numeric.

Date

Ce type vous permet de filtrer par horodatage ou de tracer des graphiques de série temporelle. Les valeurs doivent être formatées en millisecondes d'époque.

Géopoint

Ce type vous permet de tracer des paires de longitude et de latitude sur une carte Grafana.

Objet

Ce type représente une hiérarchie. Cela signifie qu'il peut contenir des zones de tout autre type (y compris des objets).

Remarques sur les types de données

Tenez compte des points suivants lors de l'interrogation des données:

  • Le mappage explicite est pris en charge pour les horodatages et les géopoints. L'ajout de _timestamp ou de _geopoint à votre nom de champ le mappe respectivement en tant que date ou en tant que géopoint. Par exemple, une zone nommée duration_timestamp est mappée en tant que date.

  • Le mappage dynamique est utilisé pour toutes les autres zones. Cela signifie qu'au moment de l'indexation, la valeur d'une nouvelle zone détermine le type de données mappé.

  • Les tableaux sont des JSON valides. Toutefois, il n'existe pas de type de données de tableau dédié dans IBM Cloud Logs. Ce qui signifie que :

    • Un champ peut contenir plusieurs valeurs et toutes les valeurs doivent être du même type de données. Sinon, une exception de mappage se produit.

    • La première valeur d'un tableau détermine le mappage de zones.

    • Pour un tableau d'objets, il n'est pas possible d'interroger chaque objet indépendamment.

  • Chaque zone du journal est mappée en tant que l'un des trois types de données suivants:

    • Texte, objet, date ou géopoint
    • Mot clé
    • Numérique

Vérification du nombre de champs d'index

Pour vérifier le nombre de champs d'index par instance et le nombre de champs utilisés, dans la barre de navigation, cliquez sur l'icône Utilisation Icône d' > Mapping Stats. Vous pouvez obtenir le nombre total quotidien d'index utilisés dans la section Clés utilisées aujourd'hui.

Pour une instance de service, la limite quotidienne par défaut des champs d'index est fixée à 3000.

Le compteur d'index est remis à zéro à minuit UTC.

Que se passe-t-il lorsque vous atteignez le nombre de champs d'index par jour ?

Lorsque vous atteignez le nombre de champs d'indexation par jour, les nouveaux champs ne sont pas indexés jusqu'à ce que le compteur soit réinitialisé pour le jour suivant.

Un point d'exclamation s'affiche sur les champs qui présentent des exceptions de mappage et n'ont pas pu être indexés.

Marquage des champs présentant des exceptions de
des champs présentant des exceptions
mappage*

Alertes

Les alertes ne sont pas affectées par les exceptions de mappage de données et continueront à être déclenchées normalement.