Controllo dei costi

Dopo aver iniziato a usare IBM® Cloud Logs, si potrebbe scoprire che è necessario regolare il modo in cui i dati vengono elaborati da IBM Cloud Logs per controllare i costi.

È possibile configurare IBM Cloud Logs o regolare i dati ingeriti da IBM Cloud Logs per controllare i costi di utilizzo.

Selezione del miglior piano di assistenza

Esaminate i piani di servizio e i prezzi disponibili. Il costo della pipeline di dati in cui si intende archiviare i dati influisce sul costo totale.

Considerate anche quanto tempo avete bisogno di conservare i vostri dati per una ricerca veloce in Insight priorità. È possibile configurare l'istanza di IBM Cloud Logs per salvare i dati in Insight priorità per un periodo di tempo più breve.

I dati vengono conteggiati dal servizio per gigabyte ingeriti. È possibile configurare le metriche di utilizzo dei dati per monitorarne l'uso. Le metriche di utilizzo dei dati richiedono la configurazione di un bucket di metriche.

Configurazione dell'ottimizzatore TCO

Per impostazione predefinita, quando viene creata un'istanza di IBM Cloud Logs, tutti i dati fluiscono verso la pipeline di dati Insight priorità. Sebbene questa pipeline offra la ricerca più veloce, è la pipeline più costosa.

Per controllare i costi, si vuole ottimizzare la pipeline in cui vengono inviati i dati.

Definendo la pipeline di dati in base all'importanza dei dati per la vostra azienda, TCO Optimizer può aiutarvi a migliorare l'analisi e gli avvisi in tempo reale e a gestire i costi.

Per informazioni sulla configurazione dell'ottimizzatore TCO, vedere Configurazione dell'ottimizzatore TCO.

Utilizzo delle politiche TCO

Il modo in cui i registri vengono associati alle pipeline è determinato dalle politiche. I criteri vengono applicati a combinazioni di applicazioni, sottosistemi e gravità dei registri man mano che questi vengono ingeriti. I registri vengono assegnati alla pipeline TCO appropriata in base al contenuto del criterio.

Prima di creare un criterio, è necessario che sia configurato un bucket di dati IBM Cloud Object Storage.

Comprendere l'ingestione dei dati

Per capire come controllare i costi quando si utilizza IBM Cloud Logs, è necessario capire come i dati vengono ingeriti dal servizio.

IBM Cloud Logs riceve i dati da più fonti e li elabora in un ordine specifico:

  1. I log vengono inviati dalla sorgente.

    • I log operativi vengono inviati tramite un agente o una chiamata API REST.
    • I log della piattaforma e gli eventi di tracciamento delle attività vengono inviati da IBM Cloud.

  2. IBM Cloud Logs ingerisce (riceve) i dati.

  3. IBM Cloud Logs le regole di parsing vengono applicate ai dati ingeriti.

  4. I criteri TCO vengono applicati e i dati vengono assegnati alla pipeline di dati appropriata o eliminati, a seconda del criterio.

Un log viene considerato ingerito ai fini della fatturazione una volta applicate le regole di parsing e i criteri TCO. I registri che vengono bloccati prima di essere inviati alle pipeline di dati non comportano costi e non vengono conservati.

Controllo dei dati ingeriti

Oltre a controllare le pipeline di dati in cui i vostri dati sono conservati all'interno di IBM Cloud Logs, potete controllare i dati che vengono ingeriti da IBM Cloud Logs.

Utilizzo delle regole di parsing

È possibile utilizzare la regola di parsing dei blocchi per filtrare i log in arrivo in base a un'espressione RegEx. Per ulteriori informazioni sulla configurazione di una regola di parsing dei blocchi, vedere Blocco dei dati di log.

Non si è limitati a bloccare le linee di log complete. I campi delle righe di log non necessari possono essere rimossi utilizzando le regole di parsing. Per informazioni sulla rimozione dei campi, vedere Rimozione dei campi dai registri mediante la regola Rimuovi campi.

Filtrare e ristrutturare i dati inviati attraverso il Agent di registrazione

Se si inviano i log operativi a IBM Cloud Logs utilizzando Agent di registrazione, è possibile analizzare e ristrutturare i dati di log per garantire la coerenza e rimuovere i dati che potrebbero non essere necessari in IBM Cloud Logs.

  • È possibile utilizzare il filtro grep Fluent Bit con l'opzione exclude.

  • È possibile utilizzare il filtro di modifica di Fluent Bit per eliminare i campi non necessari.

  • Quando si installa il sito Agent di registrazione, utilizzare l'opzione excludeLogSourcePaths quando si installa con il grafico del timone o l'opzione Exclude_Path sul plug-in tail (installazioni Linux e Windows) per non inviare i log da posizioni specifiche.

  • È possibile utilizzare script Lua per filtrare e modificare i dati inviati a IBM Cloud Logs prima dell'ingestione.

Assicurarsi che i dati di registrazione siano ben strutturati

Quando si modificano i dati di log, è necessario assicurarsi che i dati inviati a IBM Cloud Logs siano ben formattati, in modo che IBM Cloud Logs possa elaborarli correttamente.

  • I log devono essere inviati in formato JSON oppure viene utilizzato un filtro con Agent di registrazione per convertire il contenuto in formato JSON.

  • Poiché le politiche TCO utilizzano le informazioni sulla gravità all'interno dei dati di log per assegnare i log alla pipeline di dati appropriata, per un'assegnazione coerente è meglio assicurarsi che i dati di log contengano un valore level, loglevel o severity appropriato, piuttosto che far sì che Agent di registrazione o IBM Cloud Logs implichino la gravità.

  • Per i registri provenienti da fonti diverse da Kubernetes, le righe di registro devono includere i campi application e subsystemName. Questi campi sono utilizzati anche dall'elaborazione TCO.

  • I log devono includere anche i timestamp in formato UTC. In alternativa, è possibile configurare Agent di registrazione per sfalsare il timestamp prima di inviare i log. Vedi le informazioni su Time_Offset E Time_System_Timezone nella documentazione di Fluent Bit.

  • I campi che verranno utilizzati frequentemente nelle ricerche (ad esempio, http_error_code) dovrebbero essere estratti in chiavi separate, anziché essere inclusi nella riga del log.