Estrutura de pasta de archive

Os dados do archive do IBM Cloud Logs são armazenados em partições hive padrão com os campos de partição a seguir:

team_id=<team-id>: IBM Cloud Logs Team ID
dt=YYYY-MM-DD: Date of the data in UTC
hr=HH: Hour of the data in UTC

Esses campos podem ser definidos como colunas virtuais dentro da estrutura e podem ser usados como filtros em uma consulta

Esteja ciente do seguinte:

• dt e hr são baseados no registro de data e hora do evento.
• A partição team_id=<team-id> permite reutilizar o mesmo depósito e prefixo para gravar dados de várias equipes do IBM Cloud Logs e consultá-las em uma consulta.

Campos

Cada arquivo Apache Parquet possui três campos com dados como sequências formatadas por JSON:

• src_obj__event_metadata: um objeto JSON contendo metadados relacionados ao evento.
• src_obj__event_labels: um objeto JSON contendo os rótulos do evento (como o IBM Cloud Logs applicationName e subsystemName).
• src_obj__user_data: um objeto JSON contendo dados do evento real.

A seguir, um exemplo de src_obj__event_metadata:

{
  "timestamp": "2022-03-28T08:50:57.946",
  "severity": "Debug",
  "priorityclass": "low",
  "logid": "some-uuid"
}

A seguir, um exemplo de src_obj__event_labels:

{
  "applicationname": "some-app",
  "subsystemname": "some-subsystem",
  "category": "some-category",
  "classname": "some-class",
  "methodname": "some-method",
  "computername": "some-computer",
  "threadid": "some-thread-id",
  "ipaddress": "some-ip-address"
}

A seguir, um exemplo de src_obj__user_data:

{
  "_container_id": "0f099482cf3b507462020e9052516554b65865fb761af8e076735312772352bf",
  "host": "ip-10-1-11-144",
  "short_message": "10.1.11.144 - - [28/Mar/2022:08:50:57 +0000] \\"GET /check HTTP/1.1\\" 200 16559 \\"-\\" \\"Consul Health Check\\" \\"-\\""
}

Consultas e análise de arquivos

Com o recurso IBM Cloud Logs Archive Query, você pode consultar os logs diretamente do seu arquivo usando Lucene, DataPrime, e sintaxe de consulta regex sem contar na sua cota diária, mesmo que os dados nunca tenham sido indexados. Você pode armazenar mais dados nos pipelines Analisar e alertar e Armazenar e procurar e aproveitar os recursos de análise em tempo real e de pesquisa de armazenamento remoto do IBM Cloud Logs. Isso significa que você pode usar um período de retenção mais curto e ainda assim ser capaz de consultar rapidamente todos os seus dados.

As consultas de archive são executadas no archive configurado em IBM Cloud Logs e estão disponíveis para todos os níveis de criação de log do TCO. Por exemplo, se você priorizar os logs para o pipeline Analisar e alertar, ainda poderá consultá-los sem indexar os dados. Você também pode visualizá-los e consultá-los no site LiveTail,, receber alertas e notificações de anomalias em tempo real, usar regras de análise, agregação de logs e eventos para métricas a um custo menor do que os dados enviados ao pipeline Insights prioritários.