Struktur des Archivordners

IBM Cloud Logs-Archivdaten werden in Hive-ähnlichen Standardpartitionen mit den folgenden Partitionsfeldern gespeichert:

team_id=<team-id>: IBM Cloud Logs Team ID
dt=YYYY-MM-DD: Date of the data in UTC
hr=HH: Hour of the data in UTC

Diese Felder können als virtuelle Spalten im Framework definiert und als Filter in einer Abfrage verwendet werden.

Achten Sie auf Folgendes:

• Sowohl dt als auch hr basieren auf der Ereigniszeitmarke.
• Die team_id=<team-id>-Partition ermöglicht es Ihnen, dasselbe Bucket und Präfix wiederzuverwenden, um Daten aus mehreren IBM Cloud Logs-Teams zu schreiben und in einer Abfrage abzufragen.

Felder

Jede Apache Parquet-Datei enthält drei Felder mit Daten als Zeichenfolgen im JSON-Format:

• src_obj__event_metadata: Ein JSON-Objekt, das Metadaten zu dem Ereignis enthält.
• src_obj__event_labels: Ein JSON-Objekt mit den Bezeichnungen des Ereignisses (z. B. IBM Cloud Logs applicationName und subsystemName).
• src_obj__user_data: Ein JSON-Objekt mit tatsächlichen Ereignisdaten.

Im Folgenden finden Sie ein Beispiel für src_obj__event_metadata:

{
  "timestamp": "2022-03-28T08:50:57.946",
  "severity": "Debug",
  "priorityclass": "low",
  "logid": "some-uuid"
}

Im Folgenden finden Sie ein Beispiel für src_obj__event_labels:

{
  "applicationname": "some-app",
  "subsystemname": "some-subsystem",
  "category": "some-category",
  "classname": "some-class",
  "methodname": "some-method",
  "computername": "some-computer",
  "threadid": "some-thread-id",
  "ipaddress": "some-ip-address"
}

Im Folgenden finden Sie ein Beispiel für src_obj__user_data:

{
  "_container_id": "0f099482cf3b507462020e9052516554b65865fb761af8e076735312772352bf",
  "host": "ip-10-1-11-144",
  "short_message": "10.1.11.144 - - [28/Mar/2022:08:50:57 +0000] \\"GET /check HTTP/1.1\\" 200 16559 \\"-\\" \\"Consul Health Check\\" \\"-\\""
}

Archivabfragen und Parsing

Mit der Funktion IBM Cloud Logs Archive Query können Sie Protokolle direkt aus Ihrem Archiv mit Lucene, DataPrime, und Regex-Abfragesyntax abfragen, ohne dass dies auf Ihr tägliches Kontingent angerechnet wird, selbst wenn die Daten nie indiziert wurden. Sie können mehr Daten in den Pipelines Analysieren und per Alert warnen und Speichern und durchsuchen speichern und die Vorteile der Echtzeitanalyse und der Suchfunktionen für Remote-Speicher auf IBM Cloud Logs nutzen. Das bedeutet, dass Sie eine kürzere Aufbewahrungsfrist verwenden können und trotzdem in der Lage sind, alle Ihre Daten schnell abzufragen.

Archivierungsabfragen werden für das Archiv ausgeführt, das Sie in IBM Cloud Logs festlegen, und sind für alle TCO-Protokollierungsstufen verfügbar. Wenn Sie beispielsweise Protokolle für die Pipeline Analysieren und per Alert warnen priorisieren, können Sie sie auch ohne Indizierung der Daten abfragen. Sie können sie auch auf LiveTail, anzeigen und abfragen, Echtzeitwarnungen und Benachrichtigungen über Anomalien erhalten, Parsing-Regeln, Protokollaggregation und Ereignisse zu Metriken verwenden, und zwar zu geringeren Kosten als Daten, die an die Pipeline Prioritätserkenntnisse gesendet werden.