Configurazione della raccolta di metriche dai log

In IBM® Cloud Logs, è possibile generare metriche dai registri Insight priorità e Analizza e avvisa.

Quando si definiscono le metriche dai log, considerare le seguenti informazioni:

  • Le metriche vengono raccolte dal momento in cui sono state definite.
  • È possibile creare fino a 30 regole di metrica.
  • È possibile impostare il periodo di conservazione su qualsiasi lunghezza. Gestisci il bucket delle metriche e puoi conservare i dati per tutto il tempo di cui hai bisogno.
  • Hai una quota di 10M permutazioni metriche totali al giorno.
  • L'intervallo di tempo massimo della query per gli indici Events2Metrics è 90 giorni.

Prerequisiti

Prima di potere definire le metriche dai log, controlla i seguenti requisiti:

  • Devi disporre di un bucket delle metriche configurato per la tua istanza IBM Cloud Logs.

    Se non hai configurato un bucket delle metriche, verrà emesso il seguente messaggio e i dati di Eventi a Metriche saranno disponibili solo per poche ore.

    WARNING - Metric Bucket is Missing
To extend the retention period of your metric data beyond a few hours, it is essential to
configure a metric bucket. Without this configuration, your data may be automatically purged
after a short time frame, resulting in potential data loss.

  • Puoi definire solo le metriche per i log Insight priorità e Analizza e avvisa.

Configurazione degli eventi su Metriche

Effettuare le seguenti operazioni per configurare gli eventi per le metriche nel proprio ambiente.

  1. Avvia la IU IBM Cloud Logs.

  2. Fai clic sull'icona Data pipeline Icona Data pipeline > Events to Metrics.

  3. Fare clic su New Events2Metrics.

  4. Definire i dettagli per le metriche.

    Per Nome, specificare il nome per la metrica che verrà utilizzata nell'indice a lungo termine.

    Per Descrizione, descrivere la propria metrica.

  5. Selezionare la fonte dell'evento. Sono supportati solo i registri.

  6. Nella sezione Query, puoi utilizzare una query di testo o Lucene. Immettere la query per selezionare i log per la metrica.

  7. Per Ambito, è possibile filtrare i log in base alle applicazioni, ai sottosistemi o alla severità.

  8. (Facoltativo) Definire il campo delle metriche per estrarre i dati in base a max, min, count, average o aggregazione (histogram o samples).

    • Definire fino a 10 campi per cui verranno raccolte le metriche.

    • Per ogni metrica, è possibile definire una funzione di aggregazione che aggrega il flusso di dati.

    • Un bucket histogram è un intervallo di valori all'interno di un istogramma. Quando si crea un istogramma si specificano gli intervalli di valori che verranno utilizzati per raggruppare i dati. Ogni bucket nell'istogramma rappresenta il numero di osservazioni che rientrano nell'intervallo di valori del bucket. I bucket granulari forniscono percentili più accurati durante le query, ma aumentano il numero di serie temporali e di archiviazione.

    • Quando si seleziona l'aggregazione histogram, occorre fornire i bucket che rappresentano la distribuzione dei dati. Ad esempio, un istogramma della metrica CPU potrebbe essere 0, 10, 30, 45, 50, 60, 70, 85, 90, 100. I valori vengono specificati come un elenco separato da virgole.

    • È possibile utilizzare l'aggregazione sample per raccogliere 4 esempi al minuto, ciascuno dei quali rappresenta un quarto di minuto. Quando i dati vengono ricevuti entro lo stesso trimestre, viene conservato il minimo o il massimo dei dati. È necessario definire se raccogliere il valore minimo o massimo per campione raccolto.

  9. Definire le etichette da utilizzare per la visualizzazione. È possibile creare fino a 6 etichette.

  10. Selezionare il numero massimo di permutazioni di metriche consentite per una metrica. Tieni presente quanto segue:

    • Ogni ambiente è limitato a 10M permutazione metrica al giorno.
    • Ogni regola di metrica ha una quota di permutazione.
    • Le regole di metrica vengono bloccate quando viene soddisfatta una quota specifica o dell'organizzazione.
    • Viene visualizzato un grafico che stima i risultati per i log ad alta priorità in base ai precedenti 7 giorni di registrazione. È possibile utilizzare queste informazioni per determinare il numero massimo di permutazioni che si desidera configurare. Si desidera scegliere un numero di permutazioni sufficientemente alto per i dati giornalieri medi, ma non così alto da influire sulla quota giornaliera.

Metrica predefinita

Viene creata una metrica predefinita per ogni metrica definita in Eventi per metriche. Questa metrica conta il numero totale di log che corrispondono alla query e all'ambito configurato. Il nome della metrica è <Metric Name>_cx_docs_total e può essere interrogato come qualsiasi altra metrica. Anche la metrica predefinita può essere raggruppata con etichette.

Configurazione degli eventi per le query di Metriche

La query utilizzata per configurare gli eventi per le metriche può essere semplice o complessa.

Query di testo libero

Immettere una stringa di testo per definire una ricerca su testo libero.

Ad esempio, per trovare tutte le stringhe response_code 200 nelle richieste GET, immettere GET 200. Questa query troverà i log contenenti le stringhe 200 e GET.

Query di frasi

Immettere la frase tra virgolette per definire una ricerca corrispondente a una frase specifica.

Ad esempio, "GET 200" corrisponderà solo alle righe contenenti quella stringa esatta.

Query campo

Anteporre il nome del campo prima del valore per definire una ricerca di un valore in un campo specifico.

Ad esempio, environment:production ricercherà il valore production nel campo environment.

Query intervallo numerico

Specificare l'intervallo di valori numerici tra parentesi ([START_VALUE TO END_VALUE]) per ricercare un intervallo di valori.

Ad esempio, per ricercare tutte le linee con un codice di stato 4xx nel campo status, specificare status.numeric:[400 TO 499].

Query complesse

È possibile utilizzare le espressioni regolari nelle ricerche. L'espressione regolare deve essere racchiusa tra / caratteri.

Ad esempio, per ricercare tutte le regioni dell'UE è possibile specificare region:keyword:/eu-(fr|es)/

È inoltre possibile utilizzare gli operatori booleani AND, OR e NOT.

Ad esempio, per definire una ricerca di righe con un codice di stato 4xx e l'estensione php, specificare status.numeric[400 TO 499] AND extension.php.

Un altro esempio è quello di cercare tutte le linee dall'ambiente di produzione con codici di stato 4xx che non hanno origine nelle regioni dell'UE.

environment:production AND status.numeric:[400 TO 499] NOT region:/region:/eu-(fr|es)/

Utilizzo di parole chiave nei log strutturati JSON

È possibile aggiungere il suffisso .keyword a un nome campo per interrogare i dati senza indicizzazione in modo che key.keyword:/first-name*/ restituisca il log "Key":"first-name: John" e anche "Key":"first-name: Bob", ma non restituisca il log "Key":"The first participant's name is John" poiché sembra corrispondere alla frase esatta first-name.

È necessario utilizzare la barra (/) prima e dopo la stringa regex.

Le parole chiave non vengono create per campi più lunghi di 256 caratteri.