Configuration de la collecte des métriques à partir des journaux

Dans IBM® Cloud Logs, vous pouvez générer des métriques à partir des journaux Informations de priorité et Analyser et alerter.

Lorsque vous définissez des métriques à partir de journaux, tenez compte des informations suivantes:

  • Les métriques sont collectées à partir du moment où elles ont été définies.
  • Vous pouvez créer jusqu'à 30 règles de métrique.
  • Vous pouvez définir la durée de conservation sur n'importe quelle longueur. Vous gérez le compartiment des métriques et vous pouvez conserver les données aussi longtemps que nécessaire.
  • Vous disposez d'un quota de 10M de permutations de métriques totales par jour.
  • Votre intervalle de temps de requête maximal pour vos index Events2Metrics est de 90 jours.

Prérequis

Avant de pouvoir définir des métriques à partir de journaux, vérifiez les exigences suivantes:

  • Vous devez disposer d'un compartiment de métriques configuré pour votre instance IBM Cloud Logs.

    Si aucun compartiment de métriques n'est configuré, le message suivant est émis et les données d'événements vers Métriques ne sont disponibles que pendant quelques heures.

    WARNING - Metric Bucket is Missing
To extend the retention period of your metric data beyond a few hours, it is essential to
configure a metric bucket. Without this configuration, your data may be automatically purged
after a short time frame, resulting in potential data loss.

  • Vous pouvez uniquement définir des métriques pour les journaux Informations de priorité et Analyser et alerter.

Configuration d'événements en indicateurs

Procédez comme suit pour configurer des événements sur des métriques dans votre environnement.

  1. Lancez l'interface utilisateur IBM Cloud Logs.

  2. Cliquez sur l'icône Pipeline de données icône Pipeline de données > Evénements à métriques.

  3. Cliquez sur Nouveau Events2Metrics.

  4. Définissez les détails de vos métriques.

    Pour Nom, indiquez le nom de la métrique qui sera utilisée dans l'index à long terme.

    Pour Description, décrivez votre métrique.

  5. Sélectionnez votre source d'événement. Seuls les journaux sont pris en charge.

  6. Dans la section Requête, vous pouvez utiliser un texte ou une requête Lucene. Entrez la requête pour sélectionner les journaux de votre métrique.

  7. Pour Portée, vous pouvez filtrer les journaux par application, sous-système ou gravité.

  8. (Facultatif) Définissez la zone de métriques pour extraire les données en fonction de max, min, count, average ou de l'agrégation (histogram ou samples).

    • Définissez jusqu'à 10 zones pour lesquelles les métriques seront collectées.

    • Pour chaque métrique, vous pouvez définir une fonction d'agrégation qui agrège le flux de données.

    • Un compartiment histogram est une plage de valeurs dans un histogramme. Lorsque vous créez un histogramme, vous spécifiez les plages de valeurs qui seront utilisées pour regrouper les données. Chaque intervalle de l'histogramme représente le nombre d'observations comprises dans la plage de valeurs de l'intervalle. Les compartiments granulaires fournissent des percentiles plus précis lors de l'interrogation, mais augmentent le nombre de séries temporelles et de stockage.

    • Lorsque vous sélectionnez l'agrégation histogram, vous devez fournir les compartiments qui représentent la distribution des données. Par exemple, un histogramme de métrique d'unité centrale peut être 0, 10, 30, 45, 50, 60, 70, 85, 90, 100. Les valeurs sont spécifiées sous la forme d'une liste séparée par des virgules.

    • Vous pouvez utiliser l'agrégation sample pour collecter 4 échantillons par minute, chaque échantillon représentant un quart de minute. Lorsque des données sont reçues au cours du même trimestre, le minimum ou le maximum des données est conservé. Vous devez définir si la valeur minimale ou maximale par échantillon collecté doit être collectée.

  9. Définissez les libellés à utiliser pour la visualisation. Vous pouvez créer jusqu'à 6 libellés.

  10. Sélectionnez le nombre maximal de permutations de métriques autorisées pour une métrique. Notez ce qui suit :

    • Chaque environnement est limité à la permutation de métrique 10M par jour.
    • Chaque règle de métrique possède un quota de permutation.
    • Les règles d'indicateur sont bloquées lorsqu'un quota spécifique ou d'organisation est atteint.
    • Un graphique s'affiche pour estimer les résultats des journaux à priorité élevée en fonction des 7 derniers jours de journalisation. Vous pouvez utiliser ces informations pour déterminer le nombre maximal de permutations que vous souhaitez configurer. Vous souhaitez choisir un certain nombre de permutations suffisamment élevées pour les données quotidiennes moyennes, mais pas suffisamment élevées pour affecter votre quota quotidien.

Métrique par défaut

Un indicateur par défaut est créé pour chaque indicateur défini dans Evénements vers Indicateurs. Cette métrique compte le nombre total de journaux correspondant à la requête et à la portée configurée. Le nom de la métrique est <Metric Name>_cx_docs_total et peut être interrogé de la même manière que n'importe quelle autre métrique. L'indicateur par défaut peut également être regroupé avec des libellés.

Configuration des requêtes Evénements vers Métriques

La requête utilisée pour configurer les événements sur les métriques peut être simple ou complexe.

Requêtes de texte libre

Entrez une chaîne de texte pour définir une recherche sur du texte libre.

Par exemple, pour rechercher toutes les chaînes response_code 200 dans les demandes GET, entrez GET 200. Cette requête recherche les journaux contenant les chaînes 200 et GET.

Requêtes de phrase

Entrez l'expression entre guillemets pour définir une recherche correspondant à une expression spécifique.

Par exemple, "GET 200" ne correspond qu'aux lignes contenant cette chaîne exacte.

Requêtes de zone

Préfixez le nom de la zone avant la valeur pour définir une recherche de valeur dans une zone spécifique.

Par exemple, environment:production recherche la valeur production dans la zone environment.

Requêtes de plage numérique

Spécifiez la plage de valeurs numériques entre crochets ([START_VALUE TO END_VALUE]) pour rechercher une plage de valeurs.

Par exemple, pour rechercher toutes les lignes avec un code de statut 4xx dans la zone status, indiquez status.numeric:[400 TO 499].

Requêtes complexes

Vous pouvez utiliser des expressions régulières dans vos recherches. L'expression régulière doit être encapsulée dans des caractères /.

Par exemple, pour rechercher toutes les régions de l'UE, vous pouvez spécifier region:keyword:/eu-(fr|es)/

Vous pouvez également utiliser les opérateurs booléens AND, OR et NOT.

Par exemple, pour définir une recherche de lignes avec un code de statut 4xx et l'extension php, spécifiez status.numeric[400 TO 499] AND extension.php.

Un autre exemple consiste à rechercher toutes les lignes de l'environnement de production avec les codes de statut 4xx qui ne proviennent pas des régions de l'UE.

environment:production AND status.numeric:[400 TO 499] NOT region:/region:/eu-(fr|es)/

Utilisation de mots clés dans les journaux structurés JSON

Vous pouvez ajouter le suffixe .keyword à un nom de zone pour interroger les données sans indexation afin que key.keyword:/first-name*/ renvoie le journal "Key":"first-name: John" ainsi que "Key":"first-name: Bob", mais ne renvoie pas le journal "Key":"The first participant's name is John" car il semble correspondre à l'expression exacte first-name.

Vous devez utiliser une barre oblique (/) avant et après votre chaîne d'expression régulière.

Les mots clés ne sont pas créés pour les zones de plus de 256 caractères.