Parserregeln für das Protokoll IBM Cloud Logs

Sie können Parsing-Regeln verwenden, um Protokolldaten zu verarbeiten, zu analysieren und umzustrukturieren, um sie für die Überwachung und Analyse vorzubereiten. Sie können beispielsweise ausgewählte Informationen extrahieren, unstrukturierte Protokolle strukturieren oder unnötige Teile der Protokolle verwerfen. Sie können Felder aus Konformitätsgründen maskieren und falsch formatierte Protokolle korrigieren. Sie können die Erfassung von Protokolldaten basierend auf dem Protokollinhalt blockieren und vieles mehr.

In IBM® Cloud Logskönnen Sie Parserregeln verwenden, um die Struktur Ihrer Daten zu steuern, bevor die Daten in OpenSearchindexiert werden.

Regelgruppen

Parserregeln sind in Regelgruppenorganisiert. Jede Gruppe hat einen Namen und eine Gruppe von Regeln mit einer logischen Beziehung zwischen ihnen. Protokolle werden gemäß der Reihenfolge der Regelgruppe (vom Anfang bis zum Ende) verarbeitet. Sie werden dann nach der Reihenfolge der Regeln innerhalb der Regelgruppe und gemäß den logischen Operatoren zwischen ihnen (AND/OR) verarbeitet. Mithilfe von Regeln können Sie Protokolldaten verarbeiten, analysieren und umstrukturieren, um die Überwachung und Analyse vorzubereiten. Weitere Informationen finden Sie unter Mit Regelgruppen arbeiten.

Regeltypen

Sie können die folgenden Parserregeln konfigurieren:

  • Parsing Symbol für Parserregel: Konvertieren Sie unstrukturierten Text in das JSON-Format.

  • Extrahieren Sie Symbol für Extraktionsparserregel: Extrahieren Sie Werte als JSON-Schlüssel, ohne das gesamte Protokoll zu parsen.

  • JSON extrahieren Symbol für JSON-Extraktionsparserregel: Extrahieren Sie den Wert eines JSON-Schlüssels in ein Metadatenfeld.

  • Ersetzen Symbol 'Parserregel ersetzen': Ersetzen Sie den Wert eines Felds durch einen festen Zeichenfolgewert, um die Protokollstruktur zu korrigieren, die Protokollwertigkeit zu ändern oder Informationen zu verschlüsseln.

  • Block Symbol für Block-Parsing-Regel: Löschen Sie eingehende Protokolle mithilfe eines regulären Ausdrucks.

  • Zeitmarkenauszug Symbol für Zeitmarkenparserregel: Ersetzen Sie die Protokollzeitmarke durch eine Zeitmarke, die im Protokoll enthalten ist.

  • Felder entfernen Symbol 'Parserregel entfernen': Entfernen Sie JSON-Felder in einem Protokoll, um die Anzahl indexierter Felder zu reduzieren.

  • Stringify JSON Field Symbol für JSON-Stringify-Parserregel: Transformieren Sie ein JSON-Feld in ein stringify JSON-Feld, um die Anzahl der indexierten Felder zu reduzieren.

  • JSON-Feld syntaktisch analysieren Symbol für Parsing-Regel: Transformieren Sie mit Escapezeichen maskierte oder in Zeichenfolgen konvertierte Felder in das JSON-Format.

Regeln, die das ursprüngliche Protokoll ändern

Diese Regeln ändern die ursprünglichen Protokollzeilen.

  • Analyse
  • Zeitmarkenauszug
  • Ersetzen
  • JSON-Feld syntaktisch analysieren

Regeln, die dem ursprünglichen Protokoll weitere Felder hinzufügen

Diese Regeln fügen der Protokollzeile Felder hinzu, während die ursprünglichen Protokolldaten verwaltet werden.

  • JSON extrahieren
  • Extrahieren

Regeln, die Daten löschen

Diese Regeln entfernen Daten aus einer Protokollzeile.

  • Block
  • Entfernen
  • JSON-Feld stringify (kann ursprüngliches Protokoll beibehalten oder nicht)

Ausführungsreihenfolge von Regeln

Wenn Protokolle aufgenommen werden, werden Regelgruppen in der Reihenfolge angewendet, beginnend mit der ersten konfigurierten Regel.

Geben Sie zuerst Blockierungsregeln an, und verwenden Sie nach Möglichkeit die Regelabgleichkomponente, um eine unnötige Verarbeitung von Protokollen zu verhindern und die Datenverarbeitung zu beschleunigen.

Innerhalb einer Regelgruppe:

  1. Die Abfrage der Regelgruppenabgleichkomponente wird zuerst angewendet.

    Nur Protokolle, die den konfigurierten Anwendungen, Subsystemen und Wertigkeiten entsprechen, setzen die Anwendung der Parserregeln fort.

  2. Regeln werden in der Reihenfolge ab der ersten Regel angewendet, bis auf eine Regel ein logischer Operator OR folgt.

    Regeln werden sofort angewendet, sodass die Ausgabe einer Regel zur Eingabe der nächsten Regel wird.

    Die Operatoren OR und AND in der Gruppe folgen nicht der mathematischen Reihenfolge der Operationen.

Die Reihenfolge der Ausführung von Regelgruppen und Regeln ist wichtig und definiert die Struktur des endgültigen Protokolls.