Parserregeln für das Protokoll IBM Cloud Logs
Sie können Parsing-Regeln verwenden, um Protokolldaten zu verarbeiten, zu analysieren und umzustrukturieren, um sie für die Überwachung und Analyse vorzubereiten. Sie können beispielsweise ausgewählte Informationen extrahieren, unstrukturierte Protokolle strukturieren oder unnötige Teile der Protokolle verwerfen. Sie können Felder aus Konformitätsgründen maskieren und falsch formatierte Protokolle korrigieren. Sie können die Erfassung von Protokolldaten basierend auf dem Protokollinhalt blockieren und vieles mehr.
In IBM® Cloud Logskönnen Sie Parserregeln verwenden, um die Struktur Ihrer Daten zu steuern, bevor die Daten in OpenSearchindexiert werden.
Regelgruppen
Parserregeln sind in Regelgruppenorganisiert. Jede Gruppe hat einen Namen und eine Gruppe von Regeln mit einer logischen Beziehung zwischen ihnen. Protokolle werden gemäß der Reihenfolge der Regelgruppe (vom Anfang bis zum Ende) verarbeitet.
Sie werden dann nach der Reihenfolge der Regeln innerhalb der Regelgruppe und gemäß den logischen Operatoren zwischen ihnen (AND/OR) verarbeitet. Mithilfe von Regeln können Sie Protokolldaten verarbeiten, analysieren und umstrukturieren,
um die Überwachung und Analyse vorzubereiten. Weitere Informationen finden Sie unter Mit Regelgruppen arbeiten.
Regeltypen
Sie können die folgenden Parserregeln konfigurieren:
-
Parsing
: Konvertieren Sie unstrukturierten Text in das JSON-Format.
-
Extrahieren Sie
: Extrahieren Sie Werte als JSON-Schlüssel, ohne das gesamte Protokoll zu parsen.
-
JSON extrahieren
: Extrahieren Sie den Wert eines JSON-Schlüssels in ein Metadatenfeld.
-
Ersetzen
: Ersetzen Sie den Wert eines Felds durch einen festen Zeichenfolgewert, um die Protokollstruktur zu korrigieren, die Protokollwertigkeit zu ändern oder Informationen zu verschlüsseln.
-
Block
: Löschen Sie eingehende Protokolle mithilfe eines regulären Ausdrucks.
-
Zeitmarkenauszug
: Ersetzen Sie die Protokollzeitmarke durch eine Zeitmarke, die im Protokoll enthalten ist.
-
Felder entfernen
: Entfernen Sie JSON-Felder in einem Protokoll, um die Anzahl indexierter Felder zu reduzieren.
-
Stringify JSON Field
: Transformieren Sie ein JSON-Feld in ein stringify JSON-Feld, um die Anzahl der indexierten Felder zu reduzieren.
-
JSON-Feld syntaktisch analysieren
: Transformieren Sie mit Escapezeichen maskierte oder in Zeichenfolgen konvertierte Felder in das JSON-Format.
Regeln, die das ursprüngliche Protokoll ändern
Diese Regeln ändern die ursprünglichen Protokollzeilen.
- Analyse
- Zeitmarkenauszug
- Ersetzen
- JSON-Feld syntaktisch analysieren
Regeln, die dem ursprünglichen Protokoll weitere Felder hinzufügen
Diese Regeln fügen der Protokollzeile Felder hinzu, während die ursprünglichen Protokolldaten verwaltet werden.
- JSON extrahieren
- Extrahieren
Regeln, die Daten löschen
Diese Regeln entfernen Daten aus einer Protokollzeile.
- Block
- Entfernen
- JSON-Feld stringify (kann ursprüngliches Protokoll beibehalten oder nicht)
Ausführungsreihenfolge von Regeln
Wenn Protokolle aufgenommen werden, werden Regelgruppen in der Reihenfolge angewendet, beginnend mit der ersten konfigurierten Regel.
Geben Sie zuerst Blockierungsregeln an, und verwenden Sie nach Möglichkeit die Regelabgleichkomponente, um eine unnötige Verarbeitung von Protokollen zu verhindern und die Datenverarbeitung zu beschleunigen.
Innerhalb einer Regelgruppe:
-
Die Abfrage der Regelgruppenabgleichkomponente wird zuerst angewendet.
Nur Protokolle, die den konfigurierten Anwendungen, Subsystemen und Wertigkeiten entsprechen, setzen die Anwendung der Parserregeln fort.
-
Regeln werden in der Reihenfolge ab der ersten Regel angewendet, bis auf eine Regel ein logischer Operator
ORfolgt.Regeln werden sofort angewendet, sodass die Ausgabe einer Regel zur Eingabe der nächsten Regel wird.
Die Operatoren
ORundANDin der Gruppe folgen nicht der mathematischen Reihenfolge der Operationen.
Die Reihenfolge der Ausführung von Regelgruppen und Regeln ist wichtig und definiert die Struktur des endgültigen Protokolls.