Indizierung und Feldzuordnung verstehen
Um Ihre Protokolle in Prioritätserkenntnisse optimal abzufragen, ist es wichtig zu verstehen, wie IBM Cloud Logs Ihre Daten nach der Analyse indiziert.
Durch die Indizierung von Protokollen können Sie schnell Übereinstimmungen nach Protokollen abrufen, indem Sie:
- Freitextsuche
- Reguläre Ausdrücke
- Feldsuche
Es wird empfohlen, Ihre Protokolle als JSON zu serialisieren, um den maximalen Nutzen aus IBM Cloud Logs-Analysefunktionen zu ziehen. Weitere Informationen zum Parsen unstrukturierter Protokolle in JSON finden Sie unter Konfigurieren von unstrukturiertem Text in JSON.
Datentypen
IBM Cloud Logs unterstützt die folgenden Datentypen:
- Text
-
Dieser Typ stellt unstrukturierten, für Menschen lesbaren Inhalt dar, der vor der Indizierung in Begriffe zerlegt wird.
- Schlüsselwort
-
Dieser Typ stellt Text dar, der vor der Indizierung nicht durch den Analysator geht. Dieser Datentyp eignet sich für reguläre Ausdrücke, Aggregation und Sortierung.
Die Syntax zur Verwendung des Schlüsselwort-Datentyps in Ihrer Abfrage lautet:
<fieldName>.keyword.IBM Cloud Logs kann keinen Schlüsselworttyp erstellen, wenn ein Feld länger als 256 Zeichen ist.
- Numerisch
-
Dieser Typ eignet sich für Bereichsabfragen und arithmetische Aggregationen (
avg,max,min,sum).Die Syntax zur Verwendung des numerischen Datentyps in Ihrer Abfrage lautet:
<fieldName>.numeric. - Datum
-
Mit diesem Typ können Sie nach Zeitstempel filtern oder Zeitreihendiagramme zeichnen. Werte sollten als Epochen-Millisekunden formatiert werden.
- Geopunkt
-
Mit diesem Typ können Sie Längen- und Breitengradpaare auf einer Grafana Karte darstellen.
- Object
-
Dieser Typ stellt eine Hierarchie dar. Dies bedeutet, dass es Felder jedes anderen Typs (einschließlich Objekte) enthalten kann.
Überlegungen zum Datentyp
Beachten Sie beim Abfragen von Daten Folgendes:
-
Für Zeitstempel und Geopunkte wird explizite Zuordnung unterstützt. Wenn Sie Ihrem Feldnamen
_timestampoder_geopointanhängen, wird es jeweils als Datum oder Geopunkt zugeordnet. Beispielsweise wird ein Feld mit dem Namenduration_timestampals Datum zugeordnet. -
Für alle anderen Felder wird die dynamische Zuordnung verwendet. Dies bedeutet, dass zum Zeitpunkt der Indizierung der Wert eines neuen Felds den zugeordneten Datentyp bestimmt.
-
Arrays sind gültiges JSON. Es gibt jedoch keinen dedizierten Array-Datentyp in IBM Cloud Logs. Dies bedeutet Folgendes:
-
Ein Feld kann mehrere Werte enthalten und alle Werte sollten vom gleichen Datentyp sein. Andernfalls tritt eine Zuordnungsausnahme auf.
-
Der erste Wert in einem Array bestimmt die Feldzuordnung.
-
Bei einem Array von Objekten ist es nicht möglich, jedes Objekt unabhängig abzufragen.
-
-
Jedes Feld im Protokoll wird einem von drei Datentypen zugeordnet:
- Text, Objekt, Datum oder Geopunkt
- Schlüsselwort
- Numerisch
Überprüfen der Anzahl der Indexfelder
Um die Anzahl der Indexfelder pro Instanz und die Anzahl der von Ihnen verwendeten Felder zu prüfen, klicken Sie in der Navigationsleiste auf das Verwendungssymbol „ > „Mapping-Statistiken“. Die tägliche Gesamtzahl der verwendeten Indizes können Sie im Abschnitt „Heute verwendete Schlüssel“ abrufen.
Für eine Serviceinstanz ist das tägliche Standardlimit für Indexfelder auf 3000 festgelegt.
Der Indexzähler wird um Mitternacht UTC zurückgesetzt.
Was passiert, wenn Sie die Anzahl der Indexfelder an einem Tag erreichen?
Wenn Sie die Anzahl der Indexfelder an einem Tag erreichen, werden neue Felder nicht indiziert, bis der Zähler für den nächsten Tag zurückgesetzt wird.
Über den Feldern, die Mapping-Ausnahmen aufweisen und nicht indexiert werden konnten, wird ein Ausrufezeichen angezeigt.
Durchsuchen von Daten mit Zuordnungsausnahmen
Bei einer Suche in Prioritätserkenntnisse können Protokolldatensätze, die eine Zuordnungsausnahme enthalten, mithilfe einer Freitextabfrage für nicht indizierte Felder und mithilfe von Schlüssel:Wert-Paaren von indizierten Feldern durchsucht werden.
Wenn Sie der Instanz einen Daten-Bucket zugeordnet haben, können Sie die Protokolle über „Alle Protokolle“ durchsuchen. Sie können mithilfe einer Freitextabfrage oder mithilfe von Schlüssel-Wert-Paaren suchen.
Warnhinweise
Warnungen sind von Ausnahmen bei der Datenzuordnung nicht betroffen und werden weiterhin wie gewohnt ausgelöst.