Entendendo a indexação e o mapeamento de campo

Para melhor consultar seus registros em Insights prioritários, é importante entender como IBM Cloud Logs indexa seus dados depois que eles são analisados.

A indexação de logs permite recuperar rapidamente a correspondência por logs usando:

  • Pesquisas de texto livre
  • Expressões regulares
  • Pesquisas de campo

É recomendado serializar seus logs como JSON para obter o valor máximo dos recursos de análise de dados do IBM Cloud Logs. Consulte Configurando texto não estruturado no JSON para obter mais informações sobre como analisar logs não estruturados para o JSON

Tipos de dados

IBM Cloud Logs suporta os tipos de dados a seguir:

Texto

Esse tipo representa conteúdo não estruturado, legível por humanos, que é analisado em termos antes da indexação

Palavra-chave

Esse tipo representa o texto que não passa pelo analisador antes da indexação Esse tipo de dados é adequado para expressões regulares, agregação e classificação..

A sintaxe para usar o tipo de dados de palavra-chave em sua consulta é: <fieldName>.keyword.

IBM Cloud Logs não pode criar um tipo de palavra-chave quando um campo é maior que 256 caracteres.

Numéricos

Esse tipo é adequado para consultas de intervalo e agregações aritméticas (avg, max, min, sum).

A sintaxe para usar o tipo de dados numéricos em sua consulta é: <fieldName>.numeric

Data

Esse tipo permite filtrar por registro de data e hora ou gráficos de séries temporais de plot Os valores devem ser formatados como milissegundos de época

Geoponto

Esse tipo permite plotar pares de longitude e latitude em um mapa do Grafana.

Object

Esse tipo representa uma hierarquia. Isso significa que pode conter campos de qualquer outro tipo (incluindo objetos).

Considerações de tipo de dados

Considere o seguinte ao consultar dados:

  • O mapeamento explícito é suportado para registros de data e hora e geopoints. Anexar _timestamp ou _geopoint ao seu nome de campo o mapeará respectivamente como uma data ou geopoint. Por exemplo, um campo denominado duration_timestamp é mapeado como uma data

  • O mapeamento dinâmico é usado para todos os outros campos Isso significa que no momento da indexação, o valor de um novo campo determina o tipo de dados mapeado.

  • As matrizes são JSON válidas No entanto, não há nenhum tipo de dados de matriz dedicado em IBM Cloud Logs. Isso significa que:

    • Um campo pode conter diversos valores e todos os valores devem ser do mesmo tipo de dado Caso contrário, ocorrerá uma exceção de mapeamento

    • O primeiro valor em uma matriz determina o mapeamento de campo

    • Para uma matriz de objetos, não é possível consultar cada objeto independentemente.

  • Cada campo no log é mapeado como um dos 3 tipos de dados:

    • Texto, Objeto, Data ou Geopoint
    • Palavra-chave
    • Numéricos

Verificação do número de campos de índice

Para verificar o número de campos de índice por instância e quantos você usou, na barra de navegação, clique no ícone Uso Ícone de > Estatísticas de mapeamento. É possível obter o número total diário de índices usados na seção Chaves usadas hoje.

Para uma instância de serviço, o limite padrão diário de campos de índice é definido como 3000.

O contador de índices é reiniciado à meia-noite UTC.

O que acontece quando você atinge o número de campos de índice em um dia?

Quando você atinge o número de campos de índice em um dia, os novos campos não são indexados até que o contador seja redefinido para o dia seguinte.

Um ponto de exclamação será exibido nos campos que têm exceções de mapeamento e não puderam ser indexados.

Sinalização de campos com
de mapeamento*Sinalização de campos com exceções de

Alerta

Os alertas não são afetados pelas exceções de mapeamento de dados e continuarão a ser acionados normalmente.