Consultando dados

No IBM Cloud Logs, é possível consultar seus dados de log usando consultas Lucene, consultas DataPrime ou consultando dados diretamente de um depósito IBM Cloud Object Storage (COS). Também é possível aplicar filtros a suas consultas

Consultar dados da IU

Na página Explorar Logs, é possível:

A filtragem pode ser usada em conjunto com a procura usando Lucene ou DataPrime.

Após definir uma consulta, é possível salvá-la para reutilização posterior criando uma visualização. Para obter mais informações, consulte Criando visualizações customizadas

Considerações ao consultar dados de um depósito

É possível consultar dados da página de logs do Explorer ou executando uma consulta de archive.

Há considerações ao consultar dados do log do depósito de dados:

  • Os dados armazenados no bucket de dados incluem dados ingeridos por meio dos pipelines de dados Insights prioritários, Analisar e alertar e Armazenar e procurar. Ele também inclui logs que são correspondidos por meio de uma regra Parsing Block que tem a opção View blocked logs in Live tail and archive to IBM Cloud Object Storage ativada.
  • Mantenha os dados no depósito. É possível manter os dados pelo tempo necessário e consultá-los por meio da página Logs, selecionando a opção Todos os logs.
  • A filtragem pode ser usada em conjunto com a procura usando Lucene ou DataPrime.
  • É possível consultar dados com prazos ilimitados. Não há restrições sobre até onde seus dados podem ir. Você mantém os dados e tem acesso aos dados durante o tempo em que os mantiver.
  • É possível consultar logs independentemente da prioridade de log e cota diária. Apenas logs bloqueados não são enviados ao archive.
  • O Archive Query permite que você consulte diretamente os logs de seu archive usando qualquer texto ou uma ampla variedade de consultas de sintaxe. É possível consultar logs, independentemente da prioridade de log, da cota diária ou do prazo de seus dados. Para obter mais informações, consulte Consultando dados arquivados

Limitações ao consultar dados por meio do Explorer

Existem limites ao consultar dados no IBM® Cloud Logs.

Limites de consulta

Caracteres em uma consulta

Há limites para o número de caracteres que podem ser incluídos em uma consulta.

  • Um máximo de 3.000 caracteres pode ser incluído em uma consulta na exibição Logs.

  • Um máximo de 65.535 caracteres pode ser incluído em uma definição de consulta de alerta. As definições de consulta de alerta também são limitadas a um máximo de 50 instruções AND e OR.

Tipos de palavras-chave

As palavras-chave representam o texto que não passa pelo analisador antes da indexação. Esse tipo de dados é adequado para expressões regulares, agregação e classificação.

A sintaxe para usar o tipo de dados de palavra-chave em sua consulta é: <fieldName>.keyword.

IBM Cloud Logs não pode criar um tipo de palavra-chave quando um campo tem mais de 256 caracteres.

Resultados retornados

O número máximo de linhas que são retornadas de uma consulta depende se você está consultando o Insights prioritários ou dados que são armazenados no IBM Cloud Object Storage.

  • O número máximo de resultados que são retornados de Insights prioritários é 12 K.
  • O número máximo de resultados retornados de IBM Cloud Object Storage (de uma consulta usando All Logs ) é 50 K.

Bytes varridos

Um máximo de 100 MB é varrido para dados do Insights prioritários. Nenhum limite existe quando os dados armazenados no IBM Cloud Object Storage são varridos.

Limitação de taxa

No máximo 10 consultas por minuto podem ser enviadas.

Quando o limite da taxa é excedido, um HTTP 429 é retornado.

limitações de consulta de archive

A seguir estão as limitações colocadas nas consultas:

Limitações da consulta de arquivos
Limitação Descrição
Bytes processados Até 30% de bytes alimentados diariamente
Arquivos Parquet Varrido até 500K arquivos
Clonar resultados Até 1M resultados ao executar a Consulta de Archive
Tempo Limite Até 5 minutos de execução de consulta

Também é necessário estar ciente do seguinte ao consultar dados arquivados:

  • É possível usar a sintaxe da consulta (Lucene ou DataPrime) na página Consultas de Archive.

  • Você pode ver pequenos atrasos ao consultar dados arquivados quando comparados com outras consultas de Exploração

  • Depois que um limite é atingido, uma mensagem de aviso é exibida Refine os resultados da consulta para evitar atingir um limite.

Refinando resultados da consulta de archive

É possível refinar os resultados da consulta usando os seguintes métodos:

  • Aplique filtros mais seletivos às suas consultas (por exemplo, aplicativo ou subsistema)

  • Se estiver usando o operador DataPrime extract e subsequentemente filtrar seus resultados, crie uma regra de análise e filtre no campo analisado.

  • Evite expressões regulares ou curingas em filtros

  • Em DataPrime, mude do operador contains em strings para o operador de pesquisa de texto livre (~ ).

Consultar dados de registro usando a CLI

Há duas maneiras de consultar os dados de registro usando a CLI:

  • query
  • background-query-create

O comando background-query-create executa uma consulta assíncrona, enquanto o query executa uma consulta síncrona.

A consulta em segundo plano permite que você execute uma consulta e busque os resultados em um momento posterior. Os resultados da consulta são preparados e, quando estiverem prontos, você poderá fazer o download dos resultados como um arquivo usando a CLI ou a API.

Com a consulta em segundo plano, é possível retornar até 1M registros. O comando query limita-se a retornar registros 50K.

A CLI de consulta suporta apenas logs-raw, logs-prettify e json como saída. O padrão é logs-raw.

Execução de uma consulta síncrona

Você pode consultar os dados de registro de forma síncrona executando o comando ibmcloud logs query comando.

ibmcloud logs query --query QUERY --syntax QUERY_SYNTAX --metadata '{"start_date": START-DATE, "end_date": c, "syntax": SYNTAX , "limit": LIMIT, "strict-fields-validation": STRICT-FIELDS-VALIDATION, "tier": TIER}'

ou

ibmcloud logs query --query QUERY --syntax QUERY_SYNTAX --start-date START-DATE --end-date END-DATE --syntax SYNTAX --limit 10

Opções de comando

--query (string)

A consulta a ser executada. Esse é um parâmetro requerido.

A sintaxe da consulta pode ser Lucene ou Dataprime. A sintaxe ou o tipo da consulta é definido com o parâmetro --syntax.

--metadata (string)

Metadados para a execução da consulta. Use essa configuração para fornecer os parâmetros de execução da consulta.

--start-date (string)

Início do intervalo de tempo para a consulta. Isso deve estar no formato UTC ISO 8601, por exemplo: 2025-07-15T08:45:00Z. O padrão é 15 minutos antes do valor de --end-date. Se --end-date não for especificado, o valor padrão será 15 minutos antes da hora atual.

--end-date (string)

Fim do intervalo de tempo da consulta. Isso deve estar no formato UTC ISO 8601, por exemplo: 2025-07-15T08:45:00Z. O padrão é 15 minutos após o valor de --start-date. Se --start-date não for definido, --end-date será a hora atual e --start-date será 15 minutos antes da hora atual.

--limit (int)

Limite o número de registros retornados. Se não for especificado, o padrão será 2000. O número máximo de registros retornados ao pesquisar em Insights prioritários é 12000. Caso contrário, o número máximo de registros retornados é: 50000.

--syntax (string)

A sintaxe na qual a consulta é escrita. Os valores permitidos são: lucene e dataprime.

--since (duração)

Duração para olhar para trás a partir da hora atual ao consultar dados. O uso desse sinalizador substitui o metadata-start-date e o metadata-end-date. Por exemplo, 1h recupera dados da última hora (padrão: 1h0m0s).

--tier (string)

Nível no qual a consulta é executada. Os valores permitidos são: archive, frequent_search ( Insights prioritários ).

--output (string)

O formato de saída no qual os resultados são retornados. Os valores válidos são logs-raw, logs-prettify e json.

Exemplo

ibmcloud logs query --query "Push and Query test" --metadata '{"start_date": "2025-06-16T12:00:00Z", "end_date": "2025-06-17T13:41:30Z","syntax": "lucene"}' --output logs-raw

O comando query também oferece suporte a --start-date, --end-date e --syntax fora do parâmetro metadata. Por exemplo:

ibmcloud logs query --query "source logs | filter \$d.text == 'Push and Query test'" --syntax dataprime --start-date 2025-08-03T12:00:00Z  --end-date 2025-08-04T13:41:30Z

Execução de uma consulta em segundo plano

Você pode consultar os dados de registro de forma assíncrona.

Primeiro, você envia uma consulta de histórico. Em seguida, você pode usar o ID com outros comandos.

 ibmcloud logs background-query-create --query QUERY --syntax SYNTAX [--start-date START-DATE] [--end-date END-DATE] [--now-date NOW-DATE]

Opções de comando

--query (string)

A consulta a ser executada. Esse é um parâmetro requerido.

A sintaxe da consulta pode ser Lucene ou Dataprime. A sintaxe ou o tipo da consulta é definido com o parâmetro --syntax.

--syntax (string)

A sintaxe na qual a consulta é escrita. Os valores permitidos são: lucene e dataprime.

--start-date (string)

Início do intervalo de tempo para a consulta. Isso deve estar no formato UTC ISO 8601, por exemplo: 2025-07-15T08:45:00Z. O padrão é 15 minutos antes do valor de --end-date. Se --end-date não for especificado, o valor padrão será 15 minutos antes da hora atual.

--end-date (string)

Fim do intervalo de tempo da consulta. Isso deve estar no formato UTC ISO 8601, por exemplo: 2025-07-15T08:45:00Z. O padrão é 15 minutos após o valor de --start-date. Se --start-date não for definido, --end-date será a hora atual e --start-date será 15 minutos antes da hora atual.

Exemplo

ibmcloud logs background-query-create --query "Push and Query test" --syntax lucene --start-date 2025-06-16T12:00:00Z --end-date 2025-06-17T13:41:30Z

Exemplo usando a sintaxe DataPrime

ibmcloud logs background-query-create --query "source logs | filter \$d.text == 'Push and Query test'" --syntax dataprime --start-date 2025-08-03T12:00:00Z

Determinação do status de uma consulta em segundo plano

Você pode determinar o status de uma consulta em segundo plano usando a ID retornada ao executar o comando de consulta em segundo plano.

ibmcloud logs background-query-status --query-id QUERY-ID

Opções de comando

--query-id (strfmt.UUID)

ID da consulta retornada de um comando de consulta em segundo plano. Obrigatório.

O valor tem 36 caracteres e deve corresponder à expressão regular /^[0-9a-f]{8}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{12}$/.

Exemplo

ibmcloud logs background-query-status --query-id 8b5e7151-da2b-4633-be8c-9b269bed2c81

Recuperação dos resultados de uma consulta em segundo plano

Você pode recuperar os resultados de uma consulta em segundo plano usando o ID retornado ao executar o comando de consulta em segundo plano.

ibmcloud logs background-query-data --query-id QUERY-ID --output OUTPUT

Opções de comando

--query-id (strfmt.UUID)

ID da consulta retornada de um comando de consulta em segundo plano. Obrigatório.

O valor tem 36 caracteres e deve corresponder à expressão regular /^[0-9a-f]{8}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{12}$/.

--output-file (string)

Especifica o caminho para o arquivo em que a saída é gravada.

--output (string)

O formato de saída no qual os resultados são retornados. Os valores válidos são logs-raw, logs-prettify, json, yaml, tui, ou table. O padrão é table.

Exemplo

ibmcloud logs background-query-data --query-id df47fff7-131d-41dc-9328-05489a93e27c --output logs-raw

Cancelamento de uma consulta em segundo plano

Você pode cancelar uma consulta em segundo plano usando o ID retornado ao executar o comando de consulta em segundo plano.

ibmcloud logs background-query-cancel --query-id QUERY-ID --force

Opções de comando

--query-id (strfmt.UUID)

ID da consulta retornada de um comando de consulta em segundo plano. Obrigatório.

O valor tem 36 caracteres e deve corresponder à expressão regular /^[0-9a-f]{8}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{12}$/.

--force|-f

Executa o comando sem solicitar mais ao usuário.

Exemplo

ibmcloud logs background-query-cancel --query-id df47fff7-131d-41dc-9328-05489a93e27c