Erfassung von Metriken aus Protokollen konfigurieren

In IBM® Cloud Logs können Sie Metriken aus den Protokollen Prioritätserkenntnisse und Analysieren und per Alert warnen erstellen.

Beachten Sie beim Definieren von Metriken aus Protokollen die folgenden Informationen:

  • Metriken werden ab dem Zeitpunkt erfasst, zu dem sie definiert wurden.
  • Sie können bis zu 30 Metrikregeln erstellen.
  • Sie können den Aufbewahrungszeitraum auf eine beliebige Länge setzen. Sie verwalten das Metrikbucket und Sie können die Daten so lange wie erforderlich aufbewahren.
  • Sie haben ein Kontingent von 10M Gesamtmetrikpermutationen pro Tag.
  • Ihr maximaler Abfragezeitbereich für Ihre Events2Metrics-Indizes beträgt 90 Tage.

Voraussetzungen

Bevor Sie Metriken aus Protokollen definieren können, überprüfen Sie die folgenden Anforderungen:

  • Für Ihre IBM Cloud Logs-Instanz muss ein Metrikbucket konfiguriert sein.

    Wenn Sie kein Metrikbucket konfiguriert haben, wird die folgende Nachricht ausgegeben und Ereignisse für Metrikdaten sind nur einige Stunden verfügbar.

    WARNING - Metric Bucket is Missing
    To extend the retention period of your metric data beyond a few hours, it is essential to
    configure a metric bucket. Without this configuration, your data may be automatically purged
    after a short time frame, resulting in potential data loss.
    
  • Sie können nur Metriken für Prioritätserkenntnisse-Protokolle und Analysieren und per Alert warnen-Protokolle definieren.

Ereignisse für Metriken konfigurieren

Gehen Sie wie folgt vor, um Ereignisse für Metriken in Ihrer Umgebung zu konfigurieren.

  1. Starten Sie die Benutzerschnittstelle von IBM Cloud Logs.

  2. Klicken Sie auf das Symbol Datenpipeline Symbol 'Datenpipeline' > Ereignisse zu Metriken.

  3. Klicken Sie auf Neu Events2Metrics.

  4. Definieren Sie die Details für Ihre Metriken.

    Geben Sie für Name den Namen für den Messwert an, der im Langzeitindex verwendet wird.

    Beschreiben Sie für Beschreibung Ihre Metrik.

  5. Wählen Sie Ihre Ereignisquelle. Nur Logs wird unterstützt.

  6. Im Abschnitt Abfrage können Sie eine Text-oder Lucene-Abfrage verwenden. Geben Sie die Abfrage ein, um die Protokolle für Ihre Metrik auszuwählen.

  7. Für Geltungsbereich können Sie Protokolle nach Anwendungen, Subsystemen oder Wertigkeit filtern.

  8. (Optional) Definieren Sie das Metrikfeld, um Daten basierend auf max, min, count, average oder Aggregation (histogram oder samples) zu extrahieren.

    • Definieren Sie bis zu 10 Felder, für die die Metriken erfasst werden.

    • Für jeden Messwert können Sie eine Aggregationsfunktion definieren, die den Datenstrom von Daten aggregiert.

    • Ein histogram-Bucket ist ein Bereich von Werten innerhalb eines Histogramms. Beim Erstellen eines Histogramms geben Sie die Wertebereiche an, die zum Gruppieren der Daten verwendet werden. Jedes Bucket im Histogramm stellt die Anzahl der Beobachtungen dar, die in den Wertebereich für das Bucket fallen. Differenzierte Buckets stellen genauere Perzentile während der Abfrage bereit, erhöhen jedoch die Anzahl der Zeitreihen und den Speicher.

    • Bei Auswahl der histogram-Aggregation müssen Sie die Buckets angeben, die die Verteilung der Daten darstellen. Ein Histogramm der CPU-Metrik könnte beispielsweise 0, 10, 30, 45, 50, 60, 70, 85, 90, 100 sein. Werte werden als durch Kommas getrennte Liste angegeben.

    • Mit der Aggregation sample können Sie 4 Stichproben pro Minute erfassen, wobei jede Stichprobe ein Viertel einer Minute darstellt. Wenn Daten innerhalb desselben Quartals empfangen werden, wird das Minimum oder Maximum der Daten beibehalten. Sie müssen definieren, ob der minimale oder der maximale Wert pro erfasster Stichprobe erfasst werden soll.

  9. Definieren Sie die Beschriftungen für die Visualisierung. Sie können bis zu 6 Beschriftungen erstellen.

  10. Wählen Sie die maximale Anzahl an Metrikpermutationen aus, die für eine Metrik zulässig sind. Beachten Sie Folgendes:

    • Jede Umgebung ist auf 10M Messgrößen pro Tag begrenzt.
    • Jede Metrikregel hat ein Permutationskontingent.
    • Metrikregeln werden blockiert, wenn ein bestimmtes Kontingent oder ein Organisationskontingent erfüllt wird.
    • Es wird ein Diagramm angezeigt, in dem die Ergebnisse für Protokolle mit hoher Priorität basierend auf den vorherigen 7 Tagen der Protokollierung geschätzt werden. Sie können diese Informationen verwenden, um die maximale Anzahl von Umsetzungen zu bestimmen, die konfiguriert werden sollen. Sie möchten eine Anzahl von Permutationen auswählen, die hoch genug für durchschnittliche tägliche Daten sind, aber nicht so hoch sind, dass sie sich auf Ihre tägliche Quote auswirken.

Standardmetrik

Für jede Metrik, die in "Ereignisse zu Metriken" definiert ist, wird eine Standardmetrik erstellt. Diese Metrik zählt die Gesamtzahl der Protokolle, die der Abfrage und dem konfigurierten Bereich entsprechen. Der Metrikname lautet <Metric Name>_cx_docs_total und kann wie jede andere Metrik abgefragt werden. Die Standardmetrik kann auch mit Beschriftungen gruppiert werden.

Konfigurieren von Ereignissen für Metrikabfragen

Die Abfrage, mit der Ereignisse für Metriken konfiguriert werden, kann einfach oder komplex sein.

Freitextabfragen

Geben Sie eine Textzeichenfolge ein, um eine Suche nach freiem Text zu definieren.

Um beispielsweise alle response_code 200-Zeichenfolgen in GET-Anforderungen zu suchen, geben Sie GET 200 ein. Diese Abfrage findet Protokolle mit den Zeichenfolgen 200 und GET.

Phrasenabfragen

Geben Sie den Ausdruck in Anführungszeichen ein, um eine Suche zu definieren, die mit einem bestimmten Ausdruck übereinstimmt.

Beispielsweise stimmt "GET 200" nur mit Zeilen überein, die genau diese Zeichenfolge enthalten.

Feldabfragen

Stellen Sie dem Feldnamen ein Präfix vor den Wert, um eine Suche nach einem Wert in einem bestimmten Feld zu definieren.

Beispiel: environment:production sucht nach dem Wert production im Feld environment.

Numerische Bereichsabfragen

Geben Sie den Bereich numerischer Werte in eckigen Klammern ([START_VALUE TO END_VALUE]) an, um nach einem Wertebereich zu suchen.

Um beispielsweise nach allen Zeilen mit dem Statuscode 4xx im Feld status zu suchen, geben Sie status.numeric:[400 TO 499] an.

Komplexe Abfragen

Sie können reguläre Ausdrücke in Ihren Suchen verwenden. Regex muss in / Zeichen eingeschlossen werden.

Um beispielsweise nach allen EU-Regionen zu suchen, können Sie region:keyword:/eu-(fr|es)/ angeben

Sie können auch die booleschen Operatoren AND, OR und NOT verwenden.

Um beispielsweise eine Suche nach Zeilen mit dem Statuscode 4xx und der Erweiterung php zu definieren, geben Sie status.numeric[400 TO 499] AND extension.php an.

Ein weiteres Beispiel ist die Suche nach allen Zeilen aus der Produktionsumgebung mit den Statuscodes 4xx, die nicht aus den EU-Regionen stammen.

environment:production AND status.numeric:[400 TO 499] NOT region:/region:/eu-(fr|es)/

Schlüsselwörter in strukturierten JSON-Protokollen verwenden

Sie können das Suffix .keyword zu einem Feldnamen hinzufügen, um Daten ohne Indexierung abzufragen, sodass key.keyword:/first-name*/ das Protokoll "Key":"first-name: John" und auch "Key":"first-name: Bob" zurückgibt, aber nicht das Protokoll "Key":"The first participant's name is John", da es mit dem genauen Ausdruck first-name übereinstimmt.

Sie müssen einen Schrägstrich (/) vor und nach dem regulären Ausdruck verwenden.

Für Felder mit mehr als 256 Zeichen werden keine Schlüsselwörter erstellt.