Controle de custos

Depois de começar a usar o IBM® Cloud Logs, você poderá descobrir que precisa ajustar a forma como os dados são processados pelo IBM Cloud Logs para controlar os custos.

Você pode configurar o IBM Cloud Logs ou ajustar os dados que são ingeridos pelo IBM Cloud Logs para controlar seu custo de uso.

Selecionando o melhor plano de serviço

Analise os planos de serviço e os preços disponíveis. O custo do pipeline de dados onde você planeja armazenar os dados afeta o custo total.

Além disso, considere por quanto tempo você precisa manter seus dados para uma pesquisa rápida em Insights prioritários. Você pode configurar a instância do IBM Cloud Logs para salvar seus dados no Insights prioritários por um período de tempo mais curto.

Os dados são medidos pelo serviço por gigabytes ingeridos. Você pode configurar métricas de uso de dados para monitorar seu uso de dados. As métricas de uso de dados exigem que você tenha um bucket de métricas configurado.

Configuração do otimizador de TCO

Por padrão, quando uma instância do IBM Cloud Logs é criada, todos os dados fluem para o pipeline de dados do Insights prioritários. Embora esse pipeline ofereça a pesquisa mais rápida, ele é o pipeline de custo mais alto.

Para controlar os custos, você deseja otimizar o pipeline para o qual os dados são enviados.

Ao definir o pipeline de dados com base na importância dos dados para a sua empresa, o TCO Optimizer pode ajudá-lo a melhorar a análise e os alertas em tempo real e a gerenciar os custos.

Para obter informações sobre como configurar o otimizador de TCO, consulte Configuração do otimizador de TCO.

Uso de políticas de TCO

A forma como os registros são associados aos pipelines é determinada pelas políticas. As políticas são aplicadas em combinações de aplicativos, subsistemas e gravidade do registro à medida que os registros são ingeridos. Os registros são atribuídos ao pipeline de TCO apropriado com base no conteúdo da política.

Você deve ter um bucket de dados IBM Cloud Object Storage configurado antes de criar uma política.

Entendendo a ingestão de dados

Para entender como controlar seu custo ao usar o IBM Cloud Logs, você precisa entender como os dados são ingeridos pelo serviço.

IBM Cloud Logs ingere dados de várias fontes e esses dados são processados em uma ordem específica:

Os registros são enviados pela fonte.
- Os registros operacionais são enviados usando um agente ou uma chamada REST da API.
- Os registros da plataforma e os eventos de rastreamento de atividades são enviados por IBM Cloud.
IBM Cloud Logs ingere (recebe) os dados.
IBM Cloud Logs regras de análise são aplicadas aos dados ingeridos.
As políticas de TCO são aplicadas e os dados são atribuídos ao pipeline de dados apropriado ou descartados, dependendo da política.

Considera-se que um registro foi ingerido para fins de faturamento quando as regras de análise e as políticas de TCO tiverem sido aplicadas. Os registros que são bloqueados antes de serem enviados para os pipelines de dados não incorrem em cobranças e esses registros não são retidos.

Controle de dados ingeridos

Além de controlar os pipelines de dados em que seus dados são mantidos em IBM Cloud Logs, você pode controlar os dados que são ingeridos por IBM Cloud Logs.

Uso de regras de análise

Você pode usar a regra de análise de blocos para filtrar os registros de entrada com base em uma expressão RegEx. Para obter mais informações sobre a configuração de uma regra de análise de blocos, consulte Bloqueio de dados de registro.

Você não está limitado ao bloqueio de linhas de registro completas. Os campos nas linhas de registro que não são necessários podem ser removidos usando regras de análise. Para obter informações sobre como remover campos, consulte Remoção de campos de registros usando a regra Remover campos.

Filtragem e reestruturação de dados enviados por meio do Agente de criação de log

Se você estiver enviando logs operacionais para IBM Cloud Logs usando o Agente de criação de log, poderá analisar e reestruturar os dados de log para obter consistência e remover dados que talvez não sejam necessários em IBM Cloud Logs.

Você pode usar o filtro grep do Fluent Bit com a opção exclude.
Você pode usar o filtro de modificação do Fluent Bit para remover campos que não precisa.
Ao instalar o Agente de criação de log, use a opção excludeLogSourcePaths ao instalar com o helm chart ou a opção Exclude_Path no plug-in tail (instalações do Linux e do Windows) para não enviar registros de locais específicos.
Você pode usar scripts Lua para filtrar e modificar os dados que estão sendo enviados para IBM Cloud Logs antes da ingestão.

Garantir que os dados de registro sejam bem estruturados

Ao modificar os dados de registro, é necessário certificar-se de que os dados enviados para IBM Cloud Logs estejam bem formatados para que IBM Cloud Logs possa processá-los corretamente.

Os registros devem ser enviados no formato JSON ou um filtro é usado com o Agente de criação de log para converter o conteúdo no formato JSON.
Como as políticas de TCO usam as informações de gravidade nos dados de registro para atribuir os registros ao pipeline de dados apropriado, para uma atribuição consistente, é melhor garantir que os dados de registro contenham um valor apropriado em level, loglevel ou severity em vez de fazer com que Agente de criação de log ou IBM Cloud Logs indiquem a gravidade.
Para registros originados de fontes que não sejam Kubernetes, as linhas de registro precisam ter os campos application e subsystemName incluídos. Esses campos também são usados pelo processamento de TCO.
Os registros também devem incluir carimbos de data e hora no formato UTC. Como alternativa, o Agente de criação de log pode ser configurado para compensar o registro de data e hora antes de enviar os registros. Consulte as informações sobre Time_Offset e Time_System_Timezone na documentação do Fluent Bit.
Os campos que serão usados com frequência em pesquisas (por exemplo, http_error_code) devem ser extraídos em chaves separadas, em vez de serem incluídos na linha de registro.