Regras de análise de log do IBM Cloud Logs

Você pode usar regras de análise para processar, analisar e reestruturar os dados de log para prepará-los para monitoramento e análise. Por exemplo, você pode extrair informações selecionadas, estruturar logs não estruturados ou descartar partes desnecessárias dos logs. É possível mascarar campos por motivos de conformidade e corrigir logs formatados incorretamente Você pode bloquear a ingestão de dados de registro com base no conteúdo do registro e muito mais.

No IBM® Cloud Logs, é possível usar regras de análise para controlar a estrutura de seus dados antes que eles sejam indexados no OpenSearch.

Grupos de regras:

As regras de análise são organizadas dentro de Grupos de Regras Cada grupo tem um nome e um conjunto de regras com um relacionamento lógico entre eles.. Os logs são processados de acordo com a ordem do grupo de regras (do início ao fim) Eles são então processados pela ordem de regras dentro do grupo de regras e de acordo com os operadores lógicos entre eles (AND/OR). As regras ajudam a processar, analisar e reestruturar dados do log para preparar o monitoramento e a análise. Para obter mais informações, consulte Trabalhando com grupos da regra

Tipos de regras

É possível configurar as seguintes regras de análise:

  • Analisar Analisar ícone de regra de análise sintática: converta texto não estruturado em formato JSON.

  • Extrair Extrair ícone de regra de análise sintática: Extrair valores como chaves JSON sem analisar o log inteiro.

  • Extrair JSON Ícone de regra de análise de extração JSON: extraia o valor de uma chave JSON em um campo de metadados.

  • Substitua ícone Substituir regra de análise sintática: substitua o valor de um campo por um valor de sequência fixo para corrigir a estrutura de log, alterar a gravidade do log ou ofuscar informações..

  • Bloquear ícone de regra de análise de bloco: Solte os logs recebidos usando uma expressão regex.

  • Extração de registro de data e hora Ícone de regra de análise de registro de data e hora: substitua o registro de data e hora do log por um registro de data e hora incluído no log.

  • ícone Remover regra de análise: remover campos JSON em um log para reduzir o número de campos indexados.

  • Campo JSON de Stringify Ícone de regra de análise de Stringify JSON: Transforme um campo JSON em um campo JSON de stringify para reduzir o número de campos indexados.

  • Campo JSON de Análise Ícone de regra de análise de análise: Transforme campos escapados ou em sequência no formato JSON.

Regras que mudam o log original

Essas regras modificam as linhas de log originais

  • Análise
  • Extração do registro de data e hora
  • Substituir
  • Campo JSON de análise

Regras que incluem mais campos no log original

Essas regras incluem campos na linha de log enquanto os dados do log original são mantidos

  • Extrair JSON
  • Extrair

Regras que descartam dados

Essas regras removem dados de uma linha de log..

  • Bloco
  • Remover
  • Campo JSON do stringify (pode manter o log original ou não)

Ordem de execução das regras

À medida que os logs são alimentados, os grupos de regras são aplicados em ordem, a partir da primeira regra configurada.

Especifique as regras de bloco primeiro e use o correspondente de regras quando possível para evitar o processamento desnecessário de logs e acelerar o processamento de seus dados

Em um grupo de regras:

  1. A consulta do correspondente do grupo de regras é aplicada primeiro

    Somente logs que correspondem aos aplicativos, subsistemas e gravidades que estão configurados continuam aplicando as regras de análise.

  2. As regras são aplicadas na ordem da primeira regra até que uma regra seja seguida por um operador lógico OR.

    As regras são aplicadas imediatamente para que a saída de uma regra se torne a entrada da próxima.

    Os operadores OR e AND no grupo não seguem a ordem matemática de operações..

A ordem de execução de grupos de regras e regras é importante e define a estrutura do log final..