Configurazione dei bucket per la ricerca e l'archiviazione a lungo termine

IBM Cloud Logs utilizza i bucket di IBM Cloud Object Storage per memorizzare dati e metriche per l'archiviazione e la ricerca a lungo termine.

Informazioni sui bucket

IBM Cloud Object Storage è una piattaforma altamente disponibile, duratura e sicura per l'archiviazione di dati non strutturati. I file caricati in IBM Cloud Object Storage vengono chiamati oggetti. Gli oggetti possono essere ovunque da pochi byte fino a 10TB. Sono organizzati in bucket che servono come contenitori per gli oggetti e che possono essere configurati indipendentemente l'uno dall'altro in termini di ubicazioni, resilienza, tassi di fatturazione, sicurezza e ciclo di vita degli oggetti. Per ulteriori informazioni, vedi Cos' è IBM Cloud Object Storage?.

Per gestire i bucket, al tuo utente devono essere concesse le autorizzazioni per lavorare con i bucket sull'istanza IBM Cloud Object Storage. Per ulteriori informazioni sui ruoli, vedi Ruoli diIdentity and Access Management.

Per creare un bucket, puoi scegliere 1 delle seguenti opzioni:

Creazione di richieste di bucket
Azione	Ulteriori informazioni
Crea un bucket tramite la IU di IBM Cloud	Ulteriori informazioni
Crea un bucket tramite la CLI IBM Cloud	Ulteriori informazioni
Crea un bucket utilizzando cURL	Ulteriori informazioni
Creare un bucket utilizzando l'API REST	Ulteriori informazioni
Crea un contenitore con una classe di archiviazione diversa utilizzando l'API REST	Ulteriori informazioni
Crea un bucket con chiavi di crittografia gestite Key Protect o Hyper Protect Crypto Services (SSE-KP) utilizzando l'API REST	Ulteriori informazioni
Crea un bucket utilizzando Terraform	Ulteriori informazioni

Per ulteriori informazioni, vedi Introduzione a IBM Cloud Object Storage.

Informazioni sui secchi con IBM Cloud Logs

Per ogni istanza di IBM Cloud Logs, è possibile configurare 1 bucket di dati e 1 bucket di metriche.

Il bucket dei dati viene utilizzato per memorizzare i log ingeriti e non bloccati da un criterio TCO o da una regola di parsing dei blocchi. Per ulteriori informazioni, vedi Configurazione del bucket di dati.
Il bucket delle metriche viene utilizzato per memorizzare le metriche di utilizzo dei dati raccolti e le metriche generate da IBM Cloud Logs. Per informazioni sulla configurazione del bucket delle metriche, vedere Configurazione del bucket delle metriche.

È possibile configurare i bucket dei dati e delle metriche nella stessa regione o in una regione diversa dall'istanza IBM Cloud Logs. I bucket e l'istanza IBM Cloud Logs possono trovarsi nello stesso account o in account diversi.

Dovresti creare un bucket con resilienza Cross Region per archiviare e accedere ai dati in più aree geografiche per garantire funzionalità di alta disponibilità, durata e ripristino di emergenza. Vedere Creazione e modifica dei bucket IBM Cloud Object Storage.

È possibile configurare lo stesso bucket come bucket dei dati e bucket delle metriche. Tuttavia, considerate le seguenti raccomandazioni:

Utilizzate bucket diversi per i dati e per le metriche per gli ambienti di produzione.

Utilizzare bucket separati per i log e le metriche se si hanno requisiti di conservazione dei dati diversi per i log e le metriche.

L'utente è responsabile del bucket e dei dati caricati nei bucket. Si decide per quanto tempo conservare i dati in un bucket.

I requisiti di conformità, aziendali e di settore sono elementi fondamentali per definire la durata di conservazione dei dati.
In IBM Cloud Object Storage è possibile configurare i criteri del ciclo di vita degli oggetti, compresi i tag, per eliminare automaticamente i file dai bucket.

I dati eliminati non saranno più interrogabili. Assicurarsi che i dati eliminati non siano più necessari per le interrogazioni o i processi prima di rimuoverli.

Per utilizzare periodi di ciclo di vita degli oggetti diversi per i dati di metrica e di log, è necessario utilizzare bucket diversi per gestire separatamente i dati di log e i dati di metrica e configurare le politiche di ciclo di vita in modo appropriato.

Per utilizzare periodi di ciclo di vita diversi per i dati dei registri ingeriti attraverso pipeline di dati diverse, è necessario configurare i tag di conservazione dell'archivio in IBM Cloud Logs e i criteri del ciclo di vita che filtrano per tag in modo appropriato.

Mentre tutti i dati memorizzati in IBM Cloud Object Storage sono automaticamente crittografati utilizzando chiavi generate casualmente, alcuni carichi di lavoro richiedono che le chiavi possano essere ruotate, cancellate o comunque controllate da un sistema di gestione delle chiavi (KMS) come IBM® Key Protect for IBM Cloud®. I dati a riposo sono crittografati con una crittografia automatica Advanced Encryption Standard (AES) a 256 bit lato provider e con l'hash Secure Hash Algorithm (SHA)-256. I dati in movimento sono protetti utilizzando il Transport Layer Security/Secure Sockets Layer ( TLS / SSL ) o SNMPv3 con crittografia AES. Se si desidera un maggiore controllo sulla crittografia, è possibile utilizzare IBM® Key Protect for IBM Cloud® per gestire le chiavi generate o "bring your own". Per ulteriori informazioni, vedere Crittografia di un bucket con IBM® Key Protect for IBM Cloud® e Integrazione di Key-protect COS.

Si noti che i dati memorizzati nel bucket dei dati includono i dati di tutte le pipeline di dati TCO: i dati di Insight priorità, Analizza e avvisa e Archivia e ricerca. Se i dati devono essere protetti solo da una crittografia gestita dal cliente, i criteri TCO devono essere configurati per elaborare esclusivamente i dati attraverso le pipeline di dati Analizza e avvisa o Archivia e ricerca. Per ulteriori informazioni, vedere Configurazione dell'ottimizzatore TCO.

Il servizio IBM Cloud Object Storage viene fatturato separatamente da IBM Cloud Logs. I costi di archiviazione di IBM Cloud Object Storage sono determinati dal piano tariffario scelto per l'istanza di IBM Cloud Object Storage.

IBM Cloud Logs non supporta i bucket IBM Cloud Object Storage configurati con criteri di conservazione, criteri di blocco degli oggetti o con accesso pubblico abilitato, poiché IBM Cloud Logs richiede i permessi di cancellazione sui bucket dei registri e delle metriche.

IAM Service all'autorizzazione al servizio tra IBM Cloud Logs e IBM Cloud Object Storage

È necessario definire un'autorizzazione da servizio a servizio ( S2S ) tra IBM Cloud Logs e IBM Cloud Object Storage per consentire a IBM Cloud Logs di leggere e scrivere dati nei bucket.

Per ulteriori informazioni, consulta:

Bucket di dati

È possibile configurare un bucket di dati per un'istanza di IBM Cloud Logs. Per ulteriori informazioni, vedi Configurazione del bucket di dati.

Il bucket dei dati memorizza e conserva i log per tutto il tempo necessario.
Se hai requisiti normativi e di conformità, controlla l'ubicazione in cui puoi creare il bucket. Quindi, se le prestazioni sono critiche, considera la creazione del bucket nella stessa regione in cui è stato eseguito il provisioning dell'istanza IBM Cloud Logs.
È necessario configurare l'endpoint diretto come endpoint del bucket.

Gli endpoint diretti sono utilizzati per le richieste provenienti da risorse all'interno delle VPC. Gli endpoint diretti offrono prestazioni migliori rispetto agli endpoint pubblici e non comportano costi per la larghezza di banda in uscita o in entrata, anche se il traffico attraversa le regioni o i data center. Per ulteriori informazioni, vedere Tipi di endpoint.
Sei responsabile della manutenzione del bucket di dati. In IBM Cloud Logs, è possibile utilizzare i tag degli oggetti di IBM Cloud Object Storage per aiutare a gestire automaticamente i dati di log in un bucket. Per ulteriori informazioni, vedere Eliminazione di file dal bucket dei dati.

File caricati nel bucket dei dati

I registri vengono memorizzati come file Parquet con la seguente struttura:

cx/parquet/v1/team_id=<TEAM>/dt=<DT>/hr=<HR>/UUID.parquet

I metadati sono memorizzati in file manifest con questa struttura:

cx/parquet/v1/_manifest/team_id=<TEAM>/dt=<DT>/hr=<HR>/_manifest/UUID.manifest

Ad esempio:

cx/parquet/v1/team_id=58/dt=2024-12-18/hr=14/_manifest/df7bda51-9a1a-4c67-9f4d-b17f93ec4fd1.manifest
cx/parquet/v1/team_id=58/dt=2024-12-18/hr=14/710bb5f8-0cfc-4706-8aec-27ec7d993af8.parquet

Eliminazione di file dal bucket dei dati

In IBM Cloud Object Storage è possibile definire regole di scadenza (criteri del ciclo di vita) per i bucket. Una regola di scadenza elimina gli oggetti dopo un periodo definito (dalla data di creazione dell'oggetto). Le regole di scadenza per ciascun bucket vengono valutate una volta ogni 24 ore. Qualsiasi oggetto che si qualifica per la scadenza (in base alla data di scadenza degli oggetti) verrà accodato per l'eliminazione. L'eliminazione degli oggetti scaduti inizia il giorno successivo e, di norma, impiegherà meno di 24 ore.

È possibile configurare regole di scadenza che possono limitare l'ambito della regola utilizzando uno o più filtri, come un prefisso di oggetto, un tag di oggetto o una dimensione di oggetto.
È possibile utilizzare i tag come opzione di filtro che consente di applicare le regole di scadenza agli oggetti che contengono un tag corrispondente. Il filtro dei tag viene fornito come un contenitore che specifica una stringa chiave e una stringa valore. La stringa di chiavi deve essere inferiore a 128 caratteri.
Se non sono configurati prefisso, tag o dimensione dell'oggetto, il criterio verrà applicato a tutti gli oggetti del bucket.

Per ulteriori informazioni, vedere Eliminazione dei dati obsoleti con le regole di scadenza.

In IBM Cloud Object Storage, è possibile configurare regole di scadenza (criteri del ciclo di vita) per gestire automaticamente l'eliminazione dei file oggetto in base al numero di giorni dalla data di creazione dell'oggetto. Tuttavia, se si desidera un controllo più granulare sui dati conservati per la ricerca nel bucket dei dati e l'eliminazione automatica dei file utilizzando diversi periodi di conservazione dei dati, è necessario configurare in IBM Cloud Object Storage regole di scadenza che limitino l'ambito utilizzando il tag dell'oggetto ICL_ARCHIVE_RETENTION e utilizzare i valori del tag definiti nell'istanza IBM Cloud Logs.

Per utilizzare i tag di conservazione dell'archivio, è necessario completare i seguenti passaggi:

In IBM Cloud Logs, configurare i tag degli oggetti di IBM Cloud Object Storage per gestire automaticamente la durata della ricerca dei dati di log nel bucket dei dati.
- È necessario configurare e abilitare i tag di conservazione degli archivi nell'istanza IBM Cloud Logs. Per ulteriori informazioni, vedere Configurazione dei tag di conservazione dell'archivio per gestire la conservazione dei dati.
- È possibile definire fino a 3 tag oggetto personalizzati da utilizzare per definire 3 diversi periodi di scadenza dei dati di log.
- È possibile utilizzare il tag default per definire un periodo di scadenza predefinito da applicare ai dati non gestiti esplicitamente tramite un tag oggetto personalizzato.
Dopo aver attivato i tag di conservazione dell'archivio, ogni file nel bucket dei dati viene etichettato con il tag personalizzato ICL_ARCHIVE_RETENTION. Il valore del tag è impostato su un valore personalizzato o su default. Questa azione non può essere annullata. I tag di conservazione non possono essere disattivati una volta abilitati.
Nella sezione Criteri del ciclo di vita del bucket di dati IBM Cloud Object Storage, configurare le regole di scadenza per ogni tag, comprese quelle predefinite.

Utilizzare il tasto ICL_ARCHIVE_RETENTION.

La stringa di valori deve essere inferiore a 256 caratteri. Ad esempio, si possono usare valori come high, medium e low.

Assicurarsi che i nomi dei tag configurati in IBM Cloud Logs corrispondano ai valori dei tag impostati nei criteri di scadenza del bucket. I valori dei tag sono sensibili alle maiuscole e alle minuscole.
In IBM Cloud Logs, configurare 1 o più criteri TCO e definire il tag oggetto da utilizzare con i dati selezionati nel criterio. Se non è configurato alcun tag, viene utilizzato il tag default.

I dati inviati al bucket dei dati di log vengono caricati in file oggetto. Ogni file ha 1 tag oggetto ICL_ARCHIVE_RETENTION e valore. Per ulteriori informazioni, vedere Tag di conservazione.

I tag di conservazione dell'archivio sono allegati ai file oggetto caricati nel bucket dei dati dopo essere stati definiti e abilitati nell'istanza IBM Cloud Logs.

Restrizioni al bucket dei dati

Classi di archiviazione

i bucket IBM Cloud Object Storage usati da IBM Cloud Logs come bucket di dati possono essere configurati solo con le seguenti classi di archiviazione:

Smart Tier
Standard

Le seguenti classi di archiviazione non sono supportate da IBM Cloud Logs come bucket di dati:

Vault
Cold Vault

Regole di archiviazione

IBM Cloud Object Storage consente di definire regole di archiviazione sui bucket che archiviano automaticamente gli oggetti dopo il periodo di tempo definito. Gli oggetti archiviati hanno un costo inferiore rispetto agli oggetti normali, ma devono essere ripristinati prima di poter essere letti di nuovo.

IBM Cloud Logs non può leggere gli oggetti archiviati. {La ricerca di oggetti archiviati nella vista Tutti i registri o le interrogazioni nelle query Archivio restituiscono un IBM Cloud Logs di errore.

i bucket IBM Cloud Object Storage usati come bucket di dati IBM Cloud Logs non devono definire regole di archiviazione che archiviano immediatamente gli oggetti o che archiviano gli oggetti entro poche ore.

Se non è necessario cercare i registri più vecchi di un certo periodo di tempo, ad esempio un mese, è possibile definire una regola di archiviazione IBM Cloud Object Storage per archiviare gli oggetti più vecchi del periodo di tempo richiesto per la ricerca. Non configurare l'archiviazione per un periodo inferiore a 7 giorni.

Archiviando i dati che non è necessario cercare, è possibile conservare i dati di log a un costo ridotto. Se necessario, è possibile ripristinare gli oggetti archiviati se in futuro sarà necessario cercare i dati utilizzando IBM Cloud Logs.

Eventi di tracciamento dell'attività di lettura di successo

IBM Cloud Activity Tracker Event Routing elimina gli eventi cloud-object-storage.object.read iniziati dalle istanze di IBM Cloud Logs perché non necessari. Quando si esaminano gli eventi di monitoraggio dell'attività relativi all'attività IBM Cloud Logs, non si vedranno gli eventi cloud-object-storage.object.read riusciti.

Bucket di metriche

È possibile configurare un bucket di metriche per un'istanza di IBM Cloud Logs. Per ulteriori informazioni, vedi Configurazione del bucket delle metriche.

Il bucket delle metriche archivia e conserva le metriche dai tuoi eventi in un indice a lungo termine per tutto il tempo di cui hai bisogno.

Quando si abilitano le metriche, è possibile generare metriche dai log. Queste metriche vengono memorizzate nel bucket delle metriche come Prometheus index blocks.
Se hai requisiti normativi e di conformità, controlla l'ubicazione in cui puoi creare il bucket. Quindi, se le prestazioni sono critiche, considera la creazione del bucket nella stessa regione in cui è stato eseguito il provisioning dell'istanza IBM Cloud Logs.
È necessario configurare l'endpoint diretto come endpoint del bucket.

Gli endpoint diretti sono utilizzati per le richieste a un bucket che provengono da risorse all'interno di VPC. Gli endpoint diretti offrono prestazioni migliori rispetto agli endpoint pubblici e non comportano costi per la larghezza di banda in uscita o in entrata, anche se il traffico attraversa le regioni o i data center. Per ulteriori informazioni, vedere Tipi di endpoint.
Sei responsabile della manutenzione del bucket delle metriche. In IBM Cloud Object Storage, è possibile definire una regola di scadenza per mantenere i dati nel bucket delle metriche. Per ulteriori informazioni, vedere Eliminazione dei dati obsoleti con le regole di scadenza.