Structure des dossiers d'archivage

Les données d'archive IBM Cloud Logs sont stockées dans des partitions de type Hive standard avec les zones de partition suivantes:

team_id=<team-id>: IBM Cloud Logs Team ID
dt=YYYY-MM-DD: Date of the data in UTC
hr=HH: Hour of the data in UTC

Ces zones peuvent être définies en tant que colonnes virtuelles dans l'infrastructure et peuvent être utilisées en tant que filtres dans une requête.

Soyez attentifs aux points suivants :

• dt et hr sont basés sur l'horodatage de l'événement.
• La partition team_id=<team-id> vous permet de réutiliser le même compartiment et le même préfixe pour écrire des données à partir de plusieurs équipes IBM Cloud Logs et de les interroger dans une seule requête.

Zones

Chaque fichier Apache Parquet comporte trois zones avec des données sous forme de chaînes au format JSON:

• src_obj__event_metadata: objet JSON contenant des métadonnées liées à l'événement.
• src_obj__event_labels: Objet JSON contenant les libellés de l'événement (tels que IBM Cloud Logs applicationName et subsystemName).
• src_obj__user_data: objet JSON contenant des données d'événement réelles.

Voici un exemple de src_obj__event_metadata:

{
  "timestamp": "2022-03-28T08:50:57.946",
  "severity": "Debug",
  "priorityclass": "low",
  "logid": "some-uuid"
}

Voici un exemple de src_obj__event_labels:

{
  "applicationname": "some-app",
  "subsystemname": "some-subsystem",
  "category": "some-category",
  "classname": "some-class",
  "methodname": "some-method",
  "computername": "some-computer",
  "threadid": "some-thread-id",
  "ipaddress": "some-ip-address"
}

Voici un exemple de src_obj__user_data:

{
  "_container_id": "0f099482cf3b507462020e9052516554b65865fb761af8e076735312772352bf",
  "host": "ip-10-1-11-144",
  "short_message": "10.1.11.144 - - [28/Mar/2022:08:50:57 +0000] \\"GET /check HTTP/1.1\\" 200 16559 \\"-\\" \\"Consul Health Check\\" \\"-\\""
}

Requêtes et analyse des archives

Grâce à la fonction IBM Cloud Logs Archive Query, vous pouvez interroger les journaux directement à partir de vos archives en utilisant Lucene, DataPrime, et la syntaxe de requête regex sans que cela ne soit comptabilisé dans votre quota quotidien, même si les données n'ont jamais été indexées. Vous pouvez stocker davantage de données dans les pipelines Analyser et alerter et Stockage et recherche et profiter des capacités d'analyse en temps réel et de recherche de stockage à distance de IBM Cloud Logs. Cela signifie que vous pouvez utiliser une période de conservation plus courte tout en étant en mesure de consulter rapidement toutes vos données.

Les requêtes d'archivage s'exécutent sur l'archive que vous avez définie dans IBM Cloud Logs et sont disponibles pour tous les niveaux de journalisation TCO. Par exemple, si vous donnez la priorité aux journaux pour le pipeline Analyser et alerter, vous pouvez toujours les interroger sans indexer les données. Vous pouvez également les visualiser et les interroger sur le site LiveTail,, recevoir des alertes et des notifications en temps réel en cas d'anomalies, utiliser des règles d'analyse, agréger des journaux et des événements pour obtenir des mesures à un coût inférieur à celui des données envoyées au pipeline Informations de priorité.