Estructura de carpetas de archivado

Los datos de archivado de IBM Cloud Logs se almacenan en particiones estándar de tipo hive con los siguientes campos de partición:

team_id=<team-id>: IBM Cloud Logs Team ID
dt=YYYY-MM-DD: Date of the data in UTC
hr=HH: Hour of the data in UTC

Estos campos se pueden definir como columnas virtuales dentro de la infraestructura y se pueden utilizar como filtros en una consulta.

Tenga en cuenta lo siguiente:

• Tanto dt como hr se basan en la indicación de fecha y hora del suceso.
• La partición team_id=<team-id> le permite reutilizar el mismo grupo y prefijo para escribir datos de varios equipos IBM Cloud Logs y consultarlos en una consulta.

Campos

Cada archivo Apache Parquet tiene tres campos con datos como series con formato JSON:

• src_obj__event_metadata: un objeto JSON que contiene metadatos relacionados con el suceso.
• src_obj__event_labels: un objeto JSON que contiene las etiquetas del suceso (como IBM Cloud Logs applicationName y subsystemName).
• src_obj__user_data: un objeto JSON que contiene datos de suceso reales.

Este es un ejemplo de src_obj__event_metadata:

{
  "timestamp": "2022-03-28T08:50:57.946",
  "severity": "Debug",
  "priorityclass": "low",
  "logid": "some-uuid"
}

Este es un ejemplo de src_obj__event_labels:

{
  "applicationname": "some-app",
  "subsystemname": "some-subsystem",
  "category": "some-category",
  "classname": "some-class",
  "methodname": "some-method",
  "computername": "some-computer",
  "threadid": "some-thread-id",
  "ipaddress": "some-ip-address"
}

Este es un ejemplo de src_obj__user_data:

{
  "_container_id": "0f099482cf3b507462020e9052516554b65865fb761af8e076735312772352bf",
  "host": "ip-10-1-11-144",
  "short_message": "10.1.11.144 - - [28/Mar/2022:08:50:57 +0000] \\"GET /check HTTP/1.1\\" 200 16559 \\"-\\" \\"Consul Health Check\\" \\"-\\""
}

Consultas y análisis sintáctico de archivos

Con la función de consulta de archivos de IBM Cloud Logs puede consultar los registros directamente desde su archivo utilizando Lucene, DataPrime, y la sintaxis de consulta regex sin que cuente para su cuota diaria, aunque los datos nunca se hayan indexado. Puede almacenar más datos en los pipelines Analizar y alertar y Almacenar y buscar y aprovechar las funciones de análisis en tiempo real y búsqueda en almacenamiento remoto de IBM Cloud Logs. Esto significa que puede utilizar un periodo de conservación más corto y seguir siendo capaz de consultar rápidamente todos sus datos.

Las consultas de archivado se ejecutan en el archivo que ha establecido en IBM Cloud Logs y están disponibles para todos los niveles de registro de TCO. Por ejemplo, si da prioridad a los registros en Analizar y alertar, puede consultarlos sin indexar los datos. También puede visualizarlos y consultarlos en LiveTail, recibir alertas y notificaciones de anomalías en tiempo real, utilizar reglas de análisis sintáctico, agregación de registros y eventos a métricas con un coste menor que el de los datos enviados a la canalización Información prioritaria.