Daten abfragen

In IBM Cloud Logskönnen Sie Ihre Protokolldaten mithilfe von Lucene-Abfragen, DataPrime-Abfragen oder durch direktes Abfragen von Daten aus einem IBM Cloud Object Storage (COS)-Bucket abfragen. Sie können auch Filter auf Ihre Abfragen anwenden.

Daten aus der Benutzerschnittstelle abfragen

Auf der Seite Protokolle durchsuchen können Sie folgende Aktionen ausführen:

Die Filterung kann in Verbindung mit der Suche mit Lucene oder DataPrime verwendet werden.

Nachdem Sie eine Abfrage definiert haben, können Sie sie zur späteren Wiederverwendung speichern, indem Sie eine Ansicht erstellen. Weitere Informationen finden Sie unter Angepasste Ansichten erstellen.

Hinweise zur Abfrage von Daten aus einem Bucket

Sie können Daten von der Explorer-Protokollseite oder durch Ausführen einer Archivabfrage abfragen.

Beim Abfragen von Protokolldaten aus dem Datenbucket sind einige Aspekte zu beachten:

  • Die im Dateneimer gespeicherten Daten umfassen Daten, die über die Datenpipelines Prioritätserkenntnisse, Analysieren und per Alert warnen und Speichern und durchsuchen aufgenommen wurden. Dazu gehören auch Protokolle, die über eine Parsing-Block-Regel mit aktivierter Option "View blocked logs in Live tail and archive to IBM Cloud Object Storage" abgeglichen werden.
  • Sie verwalten die Daten im Bucket. Sie können die Daten so lange aufbewahren, wie Sie benötigen, und sie über die Seite Protokolle abfragen, indem Sie die Option Alle Protokolle auswählen.
  • Die Filterung kann in Verbindung mit der Suche mit Lucene oder DataPrime verwendet werden.
  • Sie können Daten mit unbegrenzten Zeiträumen abfragen. Es gibt keine Einschränkungen für den Zeitraum, in dem Ihre Daten zurückliegen können. Sie verwalten die Daten und haben Zugriff auf die Daten, solange Sie sie behalten.
  • Sie können Protokolle unabhängig von Protokollpriorität und täglicher Quote abfragen. Nur geblockte Protokolle werden nicht an das Archiv gesendet.
  • Mit der Archivierungsabfrage können Sie Ihre Protokolle direkt aus Ihrem Archiv abfragen, indem Sie beliebigen Text oder eine Vielzahl von Syntaxabfragen verwenden. Sie können Protokolle unabhängig von Protokollpriorität, täglicher Quote oder dem Zeitrahmen Ihrer Daten abfragen. Weitere Informationen finden Sie unter Archivierte Daten abfragen.

Einschränkungen beim Abfragen von Daten über den Explorer

Es gibt Grenzwerte, wenn Daten in IBM® Cloud Logsabgefragt werden.

Abfragegrenzwerte

Zeichen innerhalb einer Abfrage

Die Anzahl der Zeichen, die in eine Abfrage aufgenommen werden können, ist begrenzt.

  • Eine Abfrage in der Ansicht " Protokolle" kann maximal 3000 Zeichen enthalten.

  • Maximal 65.535 Zeichen können in einer Alert-Abfragedefinition enthalten sein. Außerdem sind die Definitionen von Warnabfragen auf maximal 50 Anweisungen beschränkt: AND und OR.

Schlüsselwort-Typen

Schlüsselwörter stehen für Text, der vor der Indizierung nicht durch den Analyzer läuft. Dieser Datentyp ist für reguläre Ausdrücke, Aggregation und Sortierung geeignet.

Die Syntax zur Verwendung des Schlüsselworts Datentyp in Ihrer Abfrage lautet: <fieldName>.keyword.

IBM Cloud Logs kann keinen Schlüsselworttyp erstellen, wenn ein Feld länger als 256 Zeichen ist.

Zurückgegebene Ergebnisse

Die maximale Anzahl von Zeilen, die von einer Abfrage zurückgegeben werden, hängt davon ab, ob Sie eine Abfrage von Prioritätserkenntnisse oder von Daten durchführen, die in IBM Cloud Object Storagegespeichert sind.

  • Die maximale Anzahl von Ergebnissen, die von Prioritätserkenntnisse zurückgegeben werden, beträgt 12 K.
  • Die maximale Anzahl von Ergebnissen, die von IBM Cloud Object Storage zurückgegeben werden (von einer Abfrage mit "All Logs "), beträgt 50 K.

Gescannte Byte

Es werden maximal 100 MB für Prioritätserkenntnisse-Daten gescannt. Es gibt keine Begrenzung, wenn Daten, die in IBM Cloud Object Storage gespeichert sind, gescannt werden.

Durchsatzbegrenzung

Es können maximal 10 Abfragen pro Minute übergeben werden.

Bei Überschreitung der Ratengrenze wird eine HTTP 429 zurückgegeben.

Einschränkungen für Archivierungsabfragen

Die folgenden Einschränkungen gelten für Abfragen.

Einschränkungen bei Archivabfragen
Einschränkung Beschreibung
Verarbeitete Byte Bis zu 30% der täglich aufgenommenen Byte
Parquet-Dateien Bis zu 500K Dateien gescannt
Ergebnisse klonen Bis zu 1M Ergebnisse beim Ausführen der Archivierungsabfrage
Zeitlimitüberschreitung Bis zu 5 Minuten Abfrageausführung

Sie müssen außerdem Folgendes beachten, wenn Sie archivierte Daten abfragen:

  • Sie können dieselbe Abfragesyntax (Lucene oder DataPrime) auf der Seite Abfragen archivieren verwenden.

  • Beim Abfragen archivierter Daten können im Vergleich zu anderen Explore-Abfragen geringfügige Verzögerungen auftreten.

  • Sobald ein Grenzwert erreicht ist, erscheint eine Warnung. Optimieren Sie Ihre Abfrageergebnisse, um das Erreichen eines Grenzwerts zu vermeiden.

Ergebnisse von Archivierungsabfragen optimieren

Sie können Ihre Abfrageergebnisse mit den folgenden Methoden optimieren:

  • Wenden Sie selektivere Filter auf Ihre Abfragen an (z. B. Anwendung oder Subsystem).

  • Wenn Sie den Operator DataPrime extract verwenden und anschließend seine Ergebnisse filtern, erstellen Sie stattdessen eine Parserregel und einen Filter für das geparste Feld.

  • Vermeiden Sie reguläre Ausdrücke oder Platzhalterzeichen in Filtern.

  • In DataPrime, wechseln Sie von der Verwendung des Operators „enthält“ für Zeichenfolgen zum Operator für die Freitextsuche (~ ).

Abfrage von Protokolldaten mit CLI

Es gibt zwei Möglichkeiten, die Protokolldaten über die CLI abzufragen:

  • query
  • background-query-create

Der Befehl background-query-create führt eine asynchrone Abfrage aus, während query eine synchrone Abfrage ausführt.

Mit der Hintergrundabfrage können Sie eine Abfrage ausführen und die Ergebnisse zu einem späteren Zeitpunkt abrufen. Die Abfrageergebnisse werden vorbereitet, und sobald sie fertig sind, können Sie die Ergebnisse über die Befehlszeilenschnittstelle oder die API als Datei herunterladen.

Mit der Hintergrundabfrage können bis zu 1M Datensätze zurückgegeben werden. Der Befehl query ist auf die Rückgabe von 50K Datensätzen beschränkt.

Die Query CLI unterstützt nur logs-raw, logs-prettify und json als Ausgabe. Die Standardeinstellung ist logs-raw.

Ausführen einer synchronen Abfrage

Sie können die Protokolldaten synchron abfragen, indem Sie den ibmcloud logs query befehl.

ibmcloud logs query --query QUERY --syntax QUERY_SYNTAX --metadata '{"start_date": START-DATE, "end_date": c, "syntax": SYNTAX , "limit": LIMIT, "strict-fields-validation": STRICT-FIELDS-VALIDATION, "tier": TIER}'

oder

ibmcloud logs query --query QUERY --syntax QUERY_SYNTAX --start-date START-DATE --end-date END-DATE --syntax SYNTAX --limit 10

Befehlsoptionen

--query (Zeichenfolge)

Die Abfrage, die ausgeführt werden soll. Dieser Parameter ist erforderlich.

Die Abfragesyntax kann entweder Lucene oder Dataprime sein. Die Syntax oder der Typ der Abfrage wird mit dem Parameter --syntax festgelegt.

--metadata (Zeichenfolge)

Metadaten für die Abfrageausführung. Verwenden Sie diese Konfiguration, um die Parameter für die Abfrageausführung anzugeben.

--start-date (Zeichenfolge)

Beginn des Zeitraums für die Abfrage. Diese muss im UTC ISO 8601 Format sein, zum Beispiel: 2025-07-15T08:45:00Z. Der Standardwert ist 15 Minuten vor dem Wert --end-date. Wenn --end-date nicht angegeben wird, ist der Standardwert 15 Minuten vor der aktuellen Zeit.

--end-date (Zeichenfolge)

Ende des Zeitraums für die Abfrage. Diese muss im UTC ISO 8601 Format sein, zum Beispiel: 2025-07-15T08:45:00Z. Der Standardwert ist 15 Minuten nach dem Wert von --start-date. Wenn --start-date nicht definiert ist, ist --end-date die aktuelle Zeit und --start-date ist 15 Minuten vor der aktuellen Zeit.

--limit (int)

Begrenzen Sie die Anzahl der zurückgegebenen Datensätze. Wird keine Angabe gemacht, ist der Standardwert 2000. Die maximale Anzahl von Datensätzen, die bei der Suche nach Prioritätserkenntnisse zurückgegeben werden, beträgt 12000. Andernfalls beträgt die maximale Anzahl der zurückgegebenen Datensätze: 50000.

--syntax (Zeichenfolge)

Die Syntax, in der die Abfrage geschrieben ist. Zulässige Werte sind: lucene und dataprime.

--since (Dauer)

Dauer, um bei der Abfrage von Daten vom aktuellen Zeitpunkt aus zurückzublicken. Die Verwendung dieses Flags hat Vorrang vor metadata-start-date und metadata-end-date. So werden beispielsweise mit 1h die Daten der letzten Stunde abgerufen (Standardwert 1h0m0s).

--tier (Zeichenfolge)

Ebene, auf der die Abfrage läuft. Erlaubte Werte sind: archive, frequent_search ( Prioritätserkenntnisse ).

--output (Zeichenfolge)

Das Ausgabeformat, in dem die Ergebnisse zurückgegeben werden. Gültige Werte sind logs-raw, logs-prettify und json.

Beispiel

ibmcloud logs query --query "Push and Query test" --metadata '{"start_date": "2025-06-16T12:00:00Z", "end_date": "2025-06-17T13:41:30Z","syntax": "lucene"}' --output logs-raw

Der Befehl query unterstützt auch --start-date, --end-date und --syntax außerhalb des Parameters metadata. Zum Beispiel:

ibmcloud logs query --query "source logs | filter \$d.text == 'Push and Query test'" --syntax dataprime --start-date 2025-08-03T12:00:00Z  --end-date 2025-08-04T13:41:30Z

Ausführen einer Hintergrundabfrage

Sie können die Protokolldaten asynchron abfragen.

Zunächst stellen Sie eine Hintergrundanfrage. Dann können Sie die ID mit anderen Befehlen verwenden.

 ibmcloud logs background-query-create --query QUERY --syntax SYNTAX [--start-date START-DATE] [--end-date END-DATE] [--now-date NOW-DATE]

Befehlsoptionen

--query (Zeichenfolge)

Die Abfrage, die ausgeführt werden soll. Dieser Parameter ist erforderlich.

Die Abfragesyntax kann entweder Lucene oder Dataprime sein. Die Syntax oder der Typ der Abfrage wird mit dem Parameter --syntax festgelegt.

--syntax (Zeichenfolge)

Die Syntax, in der die Abfrage geschrieben ist. Zulässige Werte sind: lucene und dataprime.

--start-date (Zeichenfolge)

Beginn des Zeitraums für die Abfrage. Diese muss im UTC ISO 8601 Format sein, zum Beispiel: 2025-07-15T08:45:00Z. Der Standardwert ist 15 Minuten vor dem Wert --end-date. Wenn --end-date nicht angegeben wird, ist der Standardwert 15 Minuten vor der aktuellen Zeit.

--end-date (Zeichenfolge)

Ende des Zeitraums für die Abfrage. Diese muss im UTC ISO 8601 Format sein, zum Beispiel: 2025-07-15T08:45:00Z. Der Standardwert ist 15 Minuten nach dem Wert von --start-date. Wenn --start-date nicht definiert ist, ist --end-date die aktuelle Zeit und --start-date ist 15 Minuten vor der aktuellen Zeit.

Beispiel

ibmcloud logs background-query-create --query "Push and Query test" --syntax lucene --start-date 2025-06-16T12:00:00Z --end-date 2025-06-17T13:41:30Z

Beispiel mit der Syntax DataPrime

ibmcloud logs background-query-create --query "source logs | filter \$d.text == 'Push and Query test'" --syntax dataprime --start-date 2025-08-03T12:00:00Z

Ermittlung des Status einer Hintergrundabfrage

Sie können den Status einer Hintergrundabfrage bestimmen, indem Sie die ID verwenden, die bei der Ausführung des Hintergrundabfragebefehls zurückgegeben wird.

ibmcloud logs background-query-status --query-id QUERY-ID

Befehlsoptionen

--query-id (strfmt.UUID)

Abfrage-ID, die von einem Befehl für eine Hintergrundabfrage zurückgegeben wird. Erforderlich.

Der Wert hat eine Länge von 36 Zeichen und muss dem regulären Ausdruck /^[0-9a-f]{8}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{12}$/ entsprechen.

Beispiel

ibmcloud logs background-query-status --query-id 8b5e7151-da2b-4633-be8c-9b269bed2c81

Abrufen der Ergebnisse einer Hintergrundabfrage

Sie können die Abfrageergebnisse einer Hintergrundabfrage abrufen, indem Sie die ID verwenden, die bei der Ausführung des Hintergrundabfragebefehls zurückgegeben wird.

ibmcloud logs background-query-data --query-id QUERY-ID --output OUTPUT

Befehlsoptionen

--query-id (strfmt.UUID)

Abfrage-ID, die von einem Befehl für eine Hintergrundabfrage zurückgegeben wird. Erforderlich.

Der Wert hat eine Länge von 36 Zeichen und muss dem regulären Ausdruck /^[0-9a-f]{8}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{12}$/ entsprechen.

--output-file (Zeichenfolge)

Gibt den Pfad zu der Datei an, in die die Ausgabe geschrieben wird.

--output (Zeichenfolge)

Das Ausgabeformat, in dem die Ergebnisse zurückgegeben werden. Gültige Werte sind logs-raw, logs-prettify, json, yaml, tui, oder table. Der Standardwert ist table.

Beispiel

ibmcloud logs background-query-data --query-id df47fff7-131d-41dc-9328-05489a93e27c --output logs-raw

Abbrechen einer Hintergrundabfrage

Sie können eine Hintergrundabfrage abbrechen, indem Sie die ID verwenden, die beim Ausführen des Hintergrundabfragebefehls zurückgegeben wird.

ibmcloud logs background-query-cancel --query-id QUERY-ID --force

Befehlsoptionen

--query-id (strfmt.UUID)

Abfrage-ID, die von einem Befehl für eine Hintergrundabfrage zurückgegeben wird. Erforderlich.

Der Wert hat eine Länge von 36 Zeichen und muss dem regulären Ausdruck /^[0-9a-f]{8}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{12}$/ entsprechen.

--force|-f

Führt den Befehl ohne weitere Abfrage des Benutzers aus.

Beispiel

ibmcloud logs background-query-cancel --query-id df47fff7-131d-41dc-9328-05489a93e27c