Indizierung und Feldzuordnung verstehen

Um Ihre Protokolle in Prioritätserkenntnisse optimal abzufragen, ist es wichtig zu verstehen, wie IBM Cloud Logs Ihre Daten nach der Analyse indiziert.

Durch die Indizierung von Protokollen können Sie schnell Übereinstimmungen nach Protokollen abrufen, indem Sie:

  • Freitextsuche
  • Reguläre Ausdrücke
  • Feldsuche

Es wird empfohlen, Ihre Protokolle als JSON zu serialisieren, um den maximalen Nutzen aus IBM Cloud Logs-Analysefunktionen zu ziehen. Weitere Informationen zum Parsen unstrukturierter Protokolle in JSON finden Sie unter Konfigurieren von unstrukturiertem Text in JSON.

Datentypen

IBM Cloud Logs unterstützt die folgenden Datentypen:

Text

Dieser Typ stellt unstrukturierten, für Menschen lesbaren Inhalt dar, der vor der Indizierung in Begriffe zerlegt wird.

Schlüsselwort

Dieser Typ stellt Text dar, der vor der Indizierung nicht durch den Analysator geht. Dieser Datentyp eignet sich für reguläre Ausdrücke, Aggregation und Sortierung.

Die Syntax zur Verwendung des Schlüsselwort-Datentyps in Ihrer Abfrage lautet: <fieldName>.keyword.

IBM Cloud Logs kann keinen Schlüsselworttyp erstellen, wenn ein Feld länger als 256 Zeichen ist.

Numerisch

Dieser Typ eignet sich für Bereichsabfragen und arithmetische Aggregationen ( avg, max, min, sum ).

Die Syntax zur Verwendung des numerischen Datentyps in Ihrer Abfrage lautet: <fieldName>.numeric.

Datum

Mit diesem Typ können Sie nach Zeitstempel filtern oder Zeitreihendiagramme zeichnen. Werte sollten als Epochen-Millisekunden formatiert werden.

Geopunkt

Mit diesem Typ können Sie Längen- und Breitengradpaare auf einer Grafana Karte darstellen.

Object

Dieser Typ stellt eine Hierarchie dar. Dies bedeutet, dass es Felder jedes anderen Typs (einschließlich Objekte) enthalten kann.

Überlegungen zum Datentyp

Beachten Sie beim Abfragen von Daten Folgendes:

  • Für Zeitstempel und Geopunkte wird explizite Zuordnung unterstützt. Wenn Sie Ihrem Feldnamen _timestamp oder _geopoint anhängen, wird es jeweils als Datum oder Geopunkt zugeordnet. Beispielsweise wird ein Feld mit dem Namen duration_timestamp als Datum zugeordnet.

  • Für alle anderen Felder wird die dynamische Zuordnung verwendet. Dies bedeutet, dass zum Zeitpunkt der Indizierung der Wert eines neuen Felds den zugeordneten Datentyp bestimmt.

  • Arrays sind gültiges JSON. Es gibt jedoch keinen dedizierten Array-Datentyp in IBM Cloud Logs. Dies bedeutet Folgendes:

    • Ein Feld kann mehrere Werte enthalten und alle Werte sollten vom gleichen Datentyp sein. Andernfalls tritt eine Zuordnungsausnahme auf.

    • Der erste Wert in einem Array bestimmt die Feldzuordnung.

    • Bei einem Array von Objekten ist es nicht möglich, jedes Objekt unabhängig abzufragen.

  • Jedes Feld im Protokoll wird einem von drei Datentypen zugeordnet:

    • Text, Objekt, Datum oder Geopunkt
    • Schlüsselwort
    • Numerisch

Überprüfen der Anzahl der Indexfelder

Um die Anzahl der Indexfelder pro Instanz und die Anzahl der von Ihnen verwendeten Felder zu prüfen, klicken Sie in der Navigationsleiste auf das VerwendungssymbolVerwendungssymbol > „Mapping-Statistiken“. Die tägliche Gesamtzahl der verwendeten Indizes können Sie im Abschnitt „Heute verwendete Schlüssel“ abrufen.

Für eine Serviceinstanz ist das tägliche Standardlimit für Indexfelder auf 3000 festgelegt.

Der Indexzähler wird um Mitternacht UTC zurückgesetzt.

Was passiert, wenn Sie die Anzahl der Indexfelder an einem Tag erreichen?

Wenn Sie die Anzahl der Indexfelder an einem Tag erreichen, werden neue Felder nicht indiziert, bis der Zähler für den nächsten Tag zurückgesetzt wird.

Über den Feldern, die Mapping-Ausnahmen aufweisen und nicht indexiert werden konnten, wird ein Ausrufezeichen angezeigt.

Kennzeichnung von Feldern mit Mapping-Ausnahmen
Kennzeichnung von Feldern mit Mapping-Ausnahmen

Warnhinweise

Warnungen sind von Ausnahmen bei der Datenzuordnung nicht betroffen und werden weiterhin wie gewohnt ausgelöst.