Buckets für Langzeitspeicherung und Suche konfigurieren

IBM Cloud Logs verwendet IBM Cloud Object Storage Buckets zum Speichern von Daten und Metriken für die langfristige Speicherung und Suche.

Informationen zu Buckets

IBM Cloud Object Storage ist eine hoch verfügbare, permanente und sichere Plattform zum Speichern unstrukturierter Daten. Die in IBM Cloud Object Storage hochgeladenen Dateien werden als Objekte bezeichnet. Objekte können beliebig von wenigen Byte bis zu 10TBsein. Sie sind in Buckets organisiert, die als Container für Objekte dienen und unabhängig voneinander hinsichtlich Standorte, Ausfallsicherheit, Abrechnungsraten, Sicherheit und Objektlebenszyklus konfiguriert werden können. Weitere Informationen finden Sie unter Was ist IBM Cloud Object Storage?.

Damit ein Benutzer Buckets verwalten kann, müssen ihm Berechtigungen für die Arbeit mit Buckets in der IBM Cloud Object Storage-Instanz erteilt werden. Weitere Informationen zu Rollen finden Sie unter Identitäts- und Zugriffsmanagementrollen.

Zum Erstellen eines Buckets können Sie eine der folgenden Optionen auswählen:

Schaufelanforderungen erstellen
Aktion Weitere Informationen
Erstellen Sie einen Protokollbereich über die IBM Cloud Benutzerschnittstelle Weitere Informationen
Erstellen Sie einen Protokollbereich über die IBM Cloud CLI Weitere Informationen
Erstellen Sie einen Protokollbereich unter Verwendung von cURL. Weitere Informationen
Erstellen eines Protokollbereichs mithilfe der REST-API Weitere Informationen
Erstellen Sie einen Protokollbereich mit einer anderen Speicherklasse über die REST-API. Weitere Informationen
Erstellen Sie einen Protokollbereich mit Key Protect oder Hyper Protect Crypto Services verwalteten Verschlüsselungsschlüsseln (SSE-KP) mit der REST-API Weitere Informationen
Erstellen Sie einen Protokollbereich mit Terraform Weitere Informationen

Weitere Informationen finden Sie unter Einführung in IBM Cloud Object Storage.

Über Eimer mit IBM Cloud Logs

Für jede Instanz von IBM Cloud Logs können Sie 1 Daten- und 1 Metrik-Bucket konfigurieren.

Sie können die Daten- und Metrik-Buckets in der gleichen Region oder in einer anderen Region als Ihrer IBM Cloud Logs Instanz konfigurieren. Die Buckets und die Instanz IBM Cloud Logs können sich auf demselben Konto oder auf verschiedenen Konten befinden.

Sie sollten ein Bucket mit regionsübergreifender Ausfallsicherheit erstellen, um Daten über mehrere geografische Regionen hinweg zu speichern und darauf zuzugreifen, um hohe Verfügbarkeit, Dauerhaftigkeit und Disaster-Recovery-Funktionalität sicherzustellen. Siehe Erstellen und Ändern von IBM Cloud Object Storage Buckets.

Sie können denselben Bucket wie Ihren Daten-Bucket und Ihren Metrik-Bucket konfigurieren. Beachten Sie jedoch die folgenden Empfehlungen:

Verwenden Sie unterschiedliche Buckets für Daten und Metriken für Produktionsumgebungen.

Verwenden Sie separate Buckets für Protokolle und Metriken, wenn Sie unterschiedliche Anforderungen an die Datenaufbewahrung für Protokolle und Metriken haben.

Sie sind für den Bucket und die Daten, die in den Bucket hochgeladen werden, verantwortlich. Sie entscheiden, wie lange Sie die Daten in einem Bucket aufbewahren wollen.

  • Compliance-, Unternehmens- und Branchenanforderungen sind wichtige Faktoren bei der Festlegung der Aufbewahrungsdauer der Daten.

  • Unter IBM Cloud Object Storage können Sie Richtlinien für den Lebenszyklus von Objekten, einschließlich Tags, konfigurieren, um Dateien automatisch aus Ihren Buckets zu löschen.

Gelöschte Daten sind nicht mehr abfragbar. Stellen Sie sicher, dass Sie die gelöschten Daten nicht mehr für Abfragen oder Prozesse benötigen, bevor Sie sie entfernen.

Um unterschiedliche Objektlebenszyklen für Metrik- und Protokolldaten zu verwenden, müssen Sie unterschiedliche Buckets verwenden, um Ihre Protokolldaten und Ihre Metrikdaten getrennt zu behandeln, und die Lebenszyklusrichtlinien entsprechend konfigurieren.

Um unterschiedliche Lebenszykluszeiträume für Protokolldaten zu verwenden, die über verschiedene Datenpipelines eingespeist werden, müssen Sie Archivierungsaufbewahrungs-Tags in IBM Cloud Logs und Lebenszyklusrichtlinien konfigurieren, die entsprechend nach Tags filtern.

Während alle in IBM Cloud Object Storage gespeicherten Daten automatisch mit zufällig generierten Schlüsseln verschlüsselt werden, erfordern einige Arbeitslasten, dass die Schlüssel rotiert, gelöscht oder anderweitig durch ein Schlüsselverwaltungssystem (KMS) wie IBM® Key Protect for IBM Cloud® kontrolliert werden können. Daten im Ruhezustand werden mit einer automatischen anbieterseitigen 256-Bit-Verschlüsselung nach dem Advanced Encryption Standard (AES) und dem Secure Hash Algorithm (SHA)-256 verschlüsselt. Daten in Bewegung werden durch die integrierte Transport Layer Security/Secure Sockets Layer ( TLS / SSL ) oder SNMPv3 mit AES-Verschlüsselung gesichert. Wenn Sie mehr Kontrolle über die Verschlüsselung haben möchten, können Sie IBM® Key Protect for IBM Cloud® nutzen, um generierte oder "mitgebrachte" Schlüssel zu verwalten. Weitere Informationen finden Sie unter Verschlüsseln eines Buckets mit IBM® Key Protect for IBM Cloud® und Key-protect COS Integration.

Beachten Sie, dass die im Dateneimer gespeicherten Daten Daten aus allen TCO-Datenpipelines enthalten: Daten von Prioritätserkenntnisse, Analysieren und per Alert warnen und Speichern und durchsuchen. Wenn die Daten nur durch eine vom Kunden verwaltete Verschlüsselung geschützt werden müssen, dann müssen die TCO-Richtlinien so konfiguriert werden, dass sie ausschließlich Daten über die Datenpipelines Analysieren und per Alert warnen oder Speichern und durchsuchen verarbeiten. Weitere Informationen finden Sie unter Konfigurieren des TCO-Optimierers.

Der Dienst IBM Cloud Object Storage wird getrennt von IBM Cloud Logs in Rechnung gestellt. Die Kosten für die Speicherung von IBM Cloud Object Storage werden durch den Preisplan bestimmt, den Sie für die Instanz IBM Cloud Object Storage gewählt haben.

IBM Cloud Logs unterstützt keine IBM Cloud Object Storage Buckets, die mit Aufbewahrungsrichtlinien, Objektsperrrichtlinien oder mit aktiviertem öffentlichem Zugriff konfiguriert sind, da IBM Cloud Logs Löschberechtigungen für die Logs und Metrik-Buckets erfordert.

IAM Service zur Dienstgenehmigung zwischen IBM Cloud Logs und IBM Cloud Object Storage

Sie müssen eine Dienst-zu-Dienst-Berechtigung ( S2S ) zwischen IBM Cloud Logs und IBM Cloud Object Storage definieren, damit IBM Cloud Logs Daten in den Buckets lesen und schreiben kann.

Weitere Informationen finden Sie unter:

Datenbucket

Sie können einen Datenbereich für eine IBM Cloud Logs-Instanz konfigurieren. Weitere Informationen finden Sie unter Datenbucket konfigurieren.

  • Das Datenbucket speichert und bewahrt Protokolle so lange auf, wie Sie sie benötigen.

  • Wenn Sie gesetzliche Vorschriften einhalten müssen, prüfen Sie den Ort, an dem Sie den Eimer erstellen können. Wenn die Leistung entscheidend ist, sollten Sie den Bucket in derselben Region erstellen, in der auch die Instanz IBM Cloud Logs bereitgestellt wird.

  • Sie müssen den direkten Endpunkt als Bucket-Endpunkt konfigurieren.

    Direkte Endpunkte werden für Anfragen verwendet, die von Ressourcen innerhalb von VPCs stammen. Direkte Endpunkte bieten eine bessere Leistung als öffentliche Endpunkte und es fallen keine Gebühren für ausgehende oder eingehende Bandbreite an, selbst wenn der Datenverkehr über Regionen oder Rechenzentren hinweg erfolgt. Weitere Informationen finden Sie unter Endpunkttypen.

  • Sie sind für die Verwaltung des Datenbuckets verantwortlich. In IBM Cloud Logs können Sie IBM Cloud Object Storage Objekt-Tags verwenden, um die automatische Verwaltung der Protokolldaten in einem Bucket zu unterstützen. Weitere Informationen finden Sie unter Löschen von Dateien aus dem Dateneimer.

In den Dateneimer hochgeladene Dateien

Die Protokolle werden als Parquet-Dateien mit der folgenden Struktur gespeichert:

cx/parquet/v1/team_id=<TEAM>/dt=<DT>/hr=<HR>/UUID.parquet

Metadaten werden in Manifestdateien mit dieser Struktur gespeichert:

cx/parquet/v1/_manifest/team_id=<TEAM>/dt=<DT>/hr=<HR>/_manifest/UUID.manifest

Zum Beispiel:

cx/parquet/v1/team_id=58/dt=2024-12-18/hr=14/_manifest/df7bda51-9a1a-4c67-9f4d-b17f93ec4fd1.manifest
cx/parquet/v1/team_id=58/dt=2024-12-18/hr=14/710bb5f8-0cfc-4706-8aec-27ec7d993af8.parquet

Löschen von Dateien aus dem Dateneimer

Unter IBM Cloud Object Storage können Sie Verfallsregeln (Lebenszyklusrichtlinien) für Buckets definieren. Eine Ablaufregel dient zum Löschen von Objekten nach einem definierten Zeitraum, der mit dem Erstellungsdatum des Objekts beginnt. Die Ablaufregeln für alle Buckets werden einmal alle 24 Stunden bewertet. Jedes Objekt, dessen Gültigkeit (auf Basis des Ablaufdatums des betreffenden Objekts) abgelaufen ist, wird zum Löschen in die Warteschlange eingestellt. Die Löschung abgelaufener Objekte beginnt am folgenden Tag und dauert normalerweise weniger als 24 Stunden.

  • Sie können Ablaufregeln konfigurieren, die den Geltungsbereich der Regel durch einen oder mehrere Filter wie ein Objektpräfix, ein Objekt-Tag oder eine Objektgröße einschränken können.
  • Sie können Tags als Filteroption verwenden, die es ermöglicht, Verfallsregeln auf Objekte anzuwenden, die ein passendes Tag enthalten. Der Tag-Filter wird als Container bereitgestellt, der eine Schlüsselzeichenfolge und eine Wertzeichenfolge angibt. Der Schlüsselstring muss weniger als 128 Zeichen umfassen.
  • Wenn kein Präfix, kein Tag und keine Objektgröße konfiguriert ist, gilt die Richtlinie für alle Objekte im Bucket.

Weitere Informationen finden Sie unter Löschen von veralteten Daten mit Verfallsregeln.

In IBM Cloud Object Storage können Sie Verfallsregeln (Lifecycle Policies) konfigurieren, um das automatische Löschen von Objektdateien basierend auf der Anzahl der Tage seit dem Erstellungsdatum des Objekts zu verwalten. Wenn Sie jedoch eine genauere Kontrolle über die Daten haben möchten, die für die Suche im Dateneimer aufbewahrt werden, und Dateien automatisch löschen möchten, indem Sie verschiedene Aufbewahrungszeiträume für die Daten verwenden, müssen Sie in IBM Cloud Object Storage Ablaufregeln konfigurieren, die den Umfang mithilfe des Objekt-Tags ICL_ARCHIVE_RETENTION einschränken und die Tag-Werte verwenden, die Sie in Ihrer IBM Cloud Logs Instanz definieren.

Um Archivierungskennzeichen zu verwenden, müssen Sie die folgenden Schritte ausführen:

  1. In IBM Cloud Logs konfigurieren Sie IBM Cloud Object Storage Objekt-Tags, um automatisch zu verwalten, wie lange Protokolldaten für die Suche im Dateneimer verfügbar sind.

    • Sie müssen die Archivaufbewahrungs-Tags in Ihrer IBM Cloud Logs-Instanz konfigurieren und aktivieren. Weitere Informationen finden Sie unter Konfigurieren von Archivierungskennzeichen zur Verwaltung der Datenaufbewahrung.
    • Sie können bis zu 3 benutzerdefinierte Objekt-Tags definieren, mit denen Sie 3 verschiedene Verfallszeiträume für die Protokolldaten festlegen können.
    • Mit dem Tag default können Sie eine Standard-Verfallszeit definieren, die Sie auf Daten anwenden können, die nicht explizit über ein benutzerdefiniertes Objekt-Tag verwaltet werden.

    Nach der Aktivierung von Archivierungskennzeichen wird jede Datei in Ihrem Dateneimer mit dem benutzerdefinierten Kennzeichen ICL_ARCHIVE_RETENTION versehen. Der Wert des Tags wird auf einen benutzerdefinierten Tag-Wert oder auf default gesetzt. Diese Aktion kann nicht rückgängig gemacht werden. Einmal aktivierte Aufbewahrungsmarken können nicht deaktiviert werden.

  2. Konfigurieren Sie im Abschnitt Lebenszyklusrichtlinien für Ihren IBM Cloud Object Storage Dateneimer Ablaufregeln für jedes Tag, einschließlich Standard.

    Verwenden Sie die Taste ICL_ARCHIVE_RETENTION.

    Die Zeichenkette muss weniger als 256 Zeichen umfassen. Sie können zum Beispiel Werte wie high, medium und low verwenden.

    Stellen Sie sicher, dass die Tag-Namen, die Sie in IBM Cloud Logs konfigurieren, mit den Tag-Werten übereinstimmen, die Sie in den Ablaufrichtlinien in Ihrem Bucket festgelegt haben. Bei den Tag-Werten wird zwischen Groß- und Kleinschreibung unterschieden.

  3. Konfigurieren Sie unter IBM Cloud Logs eine oder mehrere TCO-Richtlinien und definieren Sie das Objekt-Tag, das mit den in der Richtlinie ausgewählten Daten verwendet werden soll. Wenn kein Tag konfiguriert ist, wird das Tag default verwendet.

    Daten, die an den Logdateneimer gesendet werden, werden in Objektdateien hochgeladen. Jede Datei hat 1 Objekt-Tag ICL_ARCHIVE_RETENTION und einen Wert. Weitere Informationen finden Sie unter Retention Tags.

Archivierungs-Tags werden an Objektdateien angehängt, die in den Dateneimer hochgeladen werden, nachdem sie in der Instanz IBM Cloud Logs definiert und aktiviert wurden.

Einschränkungen für Dateneimer

Speicherklassen

die von " IBM Cloud Logs als Dateneimer verwendeten IBM Cloud Object Storage können nur mit dem folgenden " lagerklassen konfiguriert werden:

  • Smart Tier
  • Standard

Die folgenden Speicherklassen werden von IBM Cloud Logs nicht als Dateneimer unterstützt:

  • Vault
  • Cold Vault

Archivierungsregeln

{Mit der IBM Cloud Object Storage können Sie Archivierungsregeln für Buckets definieren, die Objekte automatisch nach einer bestimmten Zeitspanne archivieren. Archivierte Objekte haben geringere Kosten als reguläre Objekte, müssen aber erst wiederhergestellt werden, bevor sie wieder gelesen werden können.

IBM Cloud Logs kann archivierte Objekte nicht lesen. { IBM Cloud Logs Suche nach archivierten Objekten in der Ansicht Alle Protokolle oder die Abfrage in Archivabfragen liefert eine Fehlermeldung.

IBM Cloud Object Storage-Bereiche, die als IBM Cloud Logs-Datenbereiche verwendet werden, dürfen keine Archivierungsregeln definieren, die Objekte sofort oder innerhalb weniger Stunden archivieren.

Wenn Sie Protokolle, die älter sind als ein bestimmter Zeitraum, z. B. ein Monat, nicht durchsuchen müssen, können Sie eine Archivierungsregel IBM Cloud Object Storage definieren, um Objekte zu archivieren, die älter sind als der für die Suche erforderliche Zeitraum. Konfigurieren Sie die Archivierung nicht für einen Zeitraum von weniger als 7 Tagen.

Durch die Archivierung von Daten, die Sie nicht durchsuchen müssen, können Sie die Protokolldaten zu geringeren Kosten aufbewahren. Bei Bedarf können Sie archivierte Objekte wiederherstellen, wenn Sie die Daten in Zukunft mit IBM Cloud Logs durchsuchen müssen.

Erfolgreiche Leseaktivitäts-Tracking-Veranstaltungen

IBM Cloud Activity Tracker Event Routing löscht erfolgreiche cloud-object-storage.object.read-Ereignisse, die von IBM Cloud Logs-Instanzen initiiert wurden, weil sie nicht benötigt werden. Wenn Sie die Aktivitätsverfolgungsereignisse im Zusammenhang mit IBM Cloud Logs-Aktivitäten überprüfen, werden Ihnen keine erfolgreichen cloud-object-storage.object.read-Ereignisse angezeigt.

Metrikbucket

Sie können einen Metrik-Bucket für eine IBM Cloud Logs-Instanz konfigurieren. Weitere Informationen finden Sie unter Metrikbucket konfigurieren.

  • Das Metrikbucket speichert und speichert Metriken aus Ihren Ereignissen in einem Langzeitindex, solange Sie sie benötigen.

    Wenn Sie Metriken aktivieren, können Sie Metriken aus Protokollen generieren. Diese Metriken werden im Metrikbucket als Prometheus-Indexblöckegespeichert.

  • Wenn Sie gesetzliche Vorschriften einhalten müssen, prüfen Sie den Ort, an dem Sie den Eimer erstellen können. Wenn die Leistung entscheidend ist, sollten Sie den Bucket in derselben Region erstellen, in der auch die Instanz IBM Cloud Logs bereitgestellt wird.

  • Sie müssen den direkten Endpunkt als Bucket-Endpunkt konfigurieren.

    Direkte Endpunkte werden für Anfragen an einen Bucket verwendet, die von Ressourcen innerhalb von VPCs stammen. Direkte Endpunkte bieten eine bessere Leistung als öffentliche Endpunkte und es fallen keine Gebühren für ausgehende oder eingehende Bandbreite an, selbst wenn der Datenverkehr über Regionen oder Rechenzentren hinweg erfolgt. Weitere Informationen finden Sie unter Endpunkttypen.

  • Sie sind für die Verwaltung des Metrikbuckets verantwortlich. Unter IBM Cloud Object Storage können Sie eine Verfallsregel definieren, um Daten im Metrikbereich zu erhalten. Weitere Informationen finden Sie unter Löschen von veralteten Daten mit Verfallsregeln.