Configuration de compartiments pour le stockage et la recherche à long terme

IBM Cloud Logs utilise IBM Cloud Object Storage buckets pour stocker des données et des métriques en vue d'un stockage et d'une recherche à long terme.

A propos des compartiments

IBM Cloud Object Storage est une plateforme hautement disponible, durable et sécurisée pour le stockage de données non structurées. Les fichiers téléchargés dans IBM Cloud Object Storage sont appelés des objets. Les objets peuvent être de quelques octets jusqu'à 10TB. Ils sont organisés en compartiments qui servent de conteneurs pour les objets et qui peuvent être configurés indépendamment les uns des autres en termes d'emplacements, de résilience, de taux de facturation, de sécurité et de cycle de vie des objets. Pour plus d'informations, voir Qu'est-ce que IBM Cloud Object Storage?.

Pour gérer les compartiments, l'utilisateur doit disposer de droits d'utilisation des compartiments dans l'instance IBM Cloud Object Storage. Pour plus d'informations sur les rôles, voir Rôles Identity and Access Management.

Pour créer un compartiment, vous pouvez choisir l'une des options suivantes:

Créer des demandes de seaux
Action Plus d'infos
Créer un compartiment via l'interface utilisateur IBM Cloud En savoir plus
Créer un compartiment via l'interface de ligne de commande IBM Cloud En savoir plus
Créer un compartiment à l'aide de cURL En savoir plus
Créer un compartiment à l'aide de l'API REST En savoir plus
Créer un compartiment avec une classe de stockage différente à l'aide de l'API REST En savoir plus
Créer un compartiment avec les clés de chiffrement gérées par les services Key Protect ou Hyper Protect Crypto (SSE-KP) à l'aide de l'API REST En savoir plus
Créer un compartiment à l'aide de Terraform En savoir plus

Pour plus d'informations, voir Initiation à IBM Cloud Object Storage.

À propos des seaux avec IBM Cloud Logs

Pour chaque instance IBM Cloud Logs, vous pouvez configurer 1 data bucket et 1 metrics bucket.

Vous pouvez configurer les buckets de données et de métriques dans la même région ou dans une région différente de votre instance IBM Cloud Logs. Les buckets et l'instance IBM Cloud Logs peuvent se trouver dans le même compte ou dans des comptes différents.

Vous devez créer un compartiment avec la résilience Cross Region pour stocker et accéder aux données dans plusieurs régions géographiques afin de garantir la haute disponibilité, la durabilité et les capacités de reprise après incident. Voir Création et modification des buckets IBM Cloud Object Storage.

Vous pouvez configurer le même seau comme seau de données et seau de métriques. Toutefois, il convient de tenir compte des recommandations suivantes :

Utilisez des ensembles différents pour les données et pour les métriques dans les environnements de production.

Utilisez des bacs distincts pour les journaux et les métriques si vous avez des exigences différentes en matière de conservation des données pour les journaux et les métriques.

Vous êtes responsable du seau et des données qui y sont téléchargées. Vous décidez de la durée pendant laquelle vous souhaitez conserver les données dans un seau.

  • Les exigences en matière de conformité, d'entreprise et d'industrie sont des éléments clés qui aident à définir la durée de conservation des données.

  • Dans IBM Cloud Object Storage, vous pouvez configurer les politiques de cycle de vie des objets, y compris les balises, pour supprimer automatiquement les fichiers de vos godets.

Les données supprimées ne pourront plus être interrogées. Assurez-vous que vous n'avez plus besoin des données supprimées pour des requêtes ou des processus avant de les supprimer.

Pour utiliser des périodes de cycle de vie des objets différentes pour les données de métrologie et de journalisation, vous devez utiliser des seaux différents pour gérer séparément vos données de journalisation et vos données de métrologie, et configurer les politiques de cycle de vie de manière appropriée.

Pour utiliser différentes périodes de cycle de vie pour les données de logs ingérées par différents pipelines de données, vous devez configurer les balises de rétention des archives dans IBM Cloud Logs et les politiques de cycle de vie filtrant par balise de manière appropriée.

Bien que toutes les données stockées sur IBM Cloud Object Storage soient automatiquement cryptées à l'aide de clés générées de manière aléatoire, certaines charges de travail exigent que les clés puissent faire l'objet d'une rotation, d'une suppression ou d'un autre contrôle par un système de gestion des clés (KMS) tel que IBM® Key Protect for IBM Cloud®. Les données au repos sont cryptées à l'aide d'un cryptage automatique AES (Advanced Encryption Standard) 256 bits côté fournisseur et d'un hachage SHA (Secure Hash Algorithm) 256. Les données en mouvement sont sécurisées par l'utilisation de la technologie intégrée Transport Layer Security/Secure Sockets Layer ( TLS / SSL ) ou SNMPv3 avec cryptage AES. Si vous souhaitez contrôler davantage le chiffrement, vous pouvez utiliser IBM® Key Protect for IBM Cloud® pour gérer les clés générées ou "apportez votre propre clé". Pour plus d'informations, voir Chiffrer un panier avec IBM® Key Protect for IBM Cloud® et Key-protect COS Integration.

Notez que les données stockées dans le seau de données comprennent des données provenant de tous les pipelines de données de TCO : données provenant de Informations de priorité, Analyser et alerter et Stockage et recherche. Si les données doivent être protégées uniquement par un cryptage géré par le client, les politiques de TCO doivent être configurées pour traiter exclusivement les données via les pipelines de données Analyser et alerter ou Stockage et recherche. Pour plus d'informations, voir Configuration de l'optimiseur TCO.

Le service IBM Cloud Object Storage est facturé séparément de IBM Cloud Logs. Les coûts de stockage de IBM Cloud Object Storage sont déterminés par le plan tarifaire que vous avez choisi pour l'instance IBM Cloud Object Storage.

IBM Cloud Logs ne prend pas en charge les buckets IBM Cloud Object Storage configurés avec des stratégies de rétention, des stratégies de verrouillage d'objets ou avec un accès public activé, car IBM Cloud Logs nécessite des autorisations de suppression sur les buckets de logs et de métriques.

IAM Service à l'autorisation de service entre IBM Cloud Logs et IBM Cloud Object Storage

Vous devez définir une autorisation de service à service ( S2S ) entre IBM Cloud Logs et IBM Cloud Object Storage pour permettre à IBM Cloud Logs de lire et d'écrire des données dans les buckets.

Pour plus d'informations, voir :

Compartiment des données

Vous pouvez configurer un réservoir de données pour une instance IBM Cloud Logs. Pour plus d'informations, voir Configuration du compartiment de données.

  • Le compartiment des données stocke et conserve les journaux aussi longtemps que vous en avez besoin.

  • Si vous avez des exigences réglementaires et de conformité, vérifiez l'endroit où vous pouvez créer le seau. Ensuite, si les performances sont essentielles, envisagez de créer le seau dans la même région que celle où l'instance IBM Cloud Logs est approvisionnée.

  • Vous devez configurer le point de terminaison direct comme point de terminaison du seau.

    Les points d'extrémité directs sont utilisés pour les demandes émanant de ressources situées à l'intérieur des VPC. Les points d'extrémité directs offrent de meilleures performances que les points d'extrémité publics et n'entraînent pas de frais pour la bande passante sortante ou entrante, même si le trafic traverse des régions ou des centres de données. Pour plus d'informations, voir Types de points de terminaison.

  • Vous êtes responsable de la maintenance du compartiment de données. Dans IBM Cloud Logs, vous pouvez utiliser les balises d'objet IBM Cloud Object Storage pour vous aider à gérer automatiquement les données d'enregistrement dans un panier. Pour plus d'informations, voir Suppression de fichiers du bac de données.

Fichiers téléchargés dans le seau de données

Les journaux sont stockés sous forme de fichiers Parquet avec la structure suivante :

cx/parquet/v1/team_id=<TEAM>/dt=<DT>/hr=<HR>/UUID.parquet

Les métadonnées sont stockées dans des fichiers manifestes ayant cette structure :

cx/parquet/v1/_manifest/team_id=<TEAM>/dt=<DT>/hr=<HR>/_manifest/UUID.manifest

Exemple :

cx/parquet/v1/team_id=58/dt=2024-12-18/hr=14/_manifest/df7bda51-9a1a-4c67-9f4d-b17f93ec4fd1.manifest
cx/parquet/v1/team_id=58/dt=2024-12-18/hr=14/710bb5f8-0cfc-4706-8aec-27ec7d993af8.parquet

Suppression de fichiers dans le panier de données

Sur IBM Cloud Object Storage, vous pouvez définir des règles d'expiration (lifecycle policies) pour les buckets. Une règle d'expiration supprime les objets au terme d'une période définie (à partir de la date de création de l'objet). Les règles d'expiration de chaque compartiment sont évaluées une fois toutes les 24 heures. Tout objet admissible à l'expiration (d'après la date d'expiration qui lui est associée) sera mis en file d'attente pour suppression. La suppression des objets arrivés à expiration commence le jour suivant et prend généralement moins de 24 heures.

  • Vous pouvez configurer des règles d'expiration qui peuvent limiter la portée de la règle en utilisant un ou plusieurs filtres tels qu'un préfixe d'objet, une étiquette d'objet ou une taille d'objet.
  • Vous pouvez utiliser les balises comme option de filtrage permettant d'appliquer les règles d'expiration aux objets contenant une balise correspondante. Le filtre de balises est fourni sous la forme d'un conteneur qui spécifie une chaîne de clés et une chaîne de valeurs. La chaîne de clés doit comporter moins de 128 caractères.
  • Si aucun préfixe, balise ou taille d'objet n'est configuré, la politique s'appliquera à tous les objets du seau.

Pour plus d'informations, voir Suppression des données périmées à l'aide de règles d'expiration.

Dans IBM Cloud Object Storage, vous pouvez configurer des règles d'expiration (politiques de cycle de vie) pour gérer automatiquement la suppression des fichiers d'objets en fonction du nombre de jours écoulés depuis la date de création de l'objet. Toutefois, si vous souhaitez exercer un contrôle plus granulaire sur les données conservées pour la recherche dans le seau de données et supprimer automatiquement des fichiers en utilisant différentes périodes de conservation des données, vous devez configurer dans IBM Cloud Object Storage des règles d'expiration qui limitent la portée en utilisant la balise d'objet ICL_ARCHIVE_RETENTION et utiliser les valeurs de balise que vous définissez dans votre instance IBM Cloud Logs.

Pour utiliser les étiquettes de conservation des archives, vous devez suivre les étapes suivantes :

  1. Dans IBM Cloud Logs, configurez les balises d'objet IBM Cloud Object Storage pour gérer automatiquement la durée pendant laquelle les données du journal sont disponibles pour la recherche dans le seau de données.

    • Vous devez configurer et activer les balises de conservation des archives dans votre instance IBM Cloud Logs. Pour plus d'informations, voir Configuration des balises de conservation des archives pour gérer la conservation des données.
    • Vous pouvez définir jusqu'à 3 étiquettes d'objet personnalisées que vous pouvez utiliser pour définir 3 périodes d'expiration différentes pour les données du journal.
    • Vous pouvez utiliser la balise default pour définir un délai d'expiration par défaut que vous pouvez appliquer aux données qui ne sont pas explicitement gérées par une balise d'objet personnalisé.

    Une fois que vous avez activé les balises de conservation des archives, chaque fichier de votre panier de données est marqué avec la balise personnalisée ICL_ARCHIVE_RETENTION. La valeur de la balise est fixée à une valeur de balise personnalisée ou à default. Cette action ne peut pas être annulée. Les étiquettes de rétention ne peuvent pas être désactivées une fois qu'elles ont été activées.

  2. Dans votre section IBM Cloud Object Storage data bucket lifecycle policies, configurez des règles d'expiration pour chaque balise, y compris par défaut.

    Utilisez la touche ICL_ARCHIVE_RETENTION.

    La chaîne de valeur doit comporter moins de 256 caractères. Par exemple, vous pouvez utiliser des valeurs telles que high, medium, et low.

    Assurez-vous que les noms des balises que vous configurez dans IBM Cloud Logs correspondent aux valeurs des balises que vous avez définies dans les politiques d'expiration de votre seau. Les valeurs des balises sont sensibles à la casse.

  3. Sur IBM Cloud Logs, configurez une ou plusieurs politiques TCO et définissez l'étiquette d'objet à utiliser avec les données sélectionnées dans la politique. Si aucune balise n'est configurée, la balise default est utilisée.

    Les données envoyées dans le seau de données de journalisation sont téléchargées dans des fichiers objets. Chaque fichier comporte une étiquette d'objet ICL_ARCHIVE_RETENTION et une valeur. Pour plus d'informations, voir Balises de rétention.

Les balises de conservation des archives sont attachées aux fichiers d'objets qui sont téléchargés dans le réservoir de données après avoir été définis et activés dans l'instance IBM Cloud Logs.

Restrictions sur les volumes de données

Classes de stockage

les seaux IBM Cloud Object Storage utilisés par IBM Cloud Logs en tant que seaux de données ne peuvent être configurés qu'avec les classes de stockage suivantes :

  • Stockage intelligent
  • standard

Les classes de stockage suivantes ne sont pas prises en charge par IBM Cloud Logs en tant qu'ensembles de données :

  • Coffre
  • Coffre froid

Règles d'archivage

IBM Cloud Object Storage permet de définir des règles d'archivage sur les buckets qui archivent automatiquement les objets après la période définie. Les objets archivés ont un coût inférieur à celui des objets ordinaires, mais ils doivent être restaurés avant de pouvoir être lus à nouveau.

IBM Cloud Logs ne peut pas lire les objets archivés. IBM Cloud Logs La recherche d'objets archivés dans la vue Tous les journaux, ou l'interrogation dans les requêtes d'archives, renvoie un message d'erreur.

les buckets IBM Cloud Object Storage utilisés comme buckets de données IBM Cloud Logs ne doivent pas définir de règles d'archivage qui archivent immédiatement les objets, ou qui archivent les objets en quelques heures.

Si vous n'avez pas besoin de rechercher des journaux plus anciens qu'une certaine période, par exemple un mois, vous pouvez définir une règle d'archivage IBM Cloud Object Storage pour archiver les objets plus anciens que la période de temps requise pour la recherche. Ne pas configurer l'archivage pour une période inférieure à 7 jours.

En archivant les données que vous n'avez pas besoin de rechercher, vous pouvez conserver les données du journal à un coût réduit. Si nécessaire, vous pouvez restaurer les objets archivés si vous avez besoin de rechercher les données en utilisant IBM Cloud Logs à l'avenir.

Lecture réussie d'événements de suivi d'activité

IBM Cloud Activity Tracker Event Routing laisse tomber les événements cloud-object-storage.object.read réussis qui sont initiés par les instances IBM Cloud Logs parce qu'ils ne sont pas nécessaires. Lorsque vous examinez les événements de suivi d'activité liés à l'activité IBM Cloud Logs, vous ne verrez pas d'événements cloud-object-storage.object.read réussis.

Compartiment des métriques

Vous pouvez configurer un seau de métriques pour une instance IBM Cloud Logs. Pour plus d'informations, voir Configuration du compartiment de métriques.

  • Le compartiment des métriques stocke et conserve les métriques de vos événements dans un index à long terme aussi longtemps que vous en avez besoin.

    Lorsque vous activez des métriques, vous pouvez générer des métriques à partir de journaux. Ces métriques sont stockées dans le compartiment de métriques en tant que blocs d'indexPrometheus.

  • Si vous avez des exigences réglementaires et de conformité, vérifiez l'endroit où vous pouvez créer le seau. Ensuite, si les performances sont essentielles, envisagez de créer le seau dans la même région que celle où l'instance IBM Cloud Logs est approvisionnée.

  • Vous devez configurer le point de terminaison direct comme point de terminaison du seau.

    Les points d'extrémité directs sont utilisés pour les requêtes vers un godet qui proviennent de ressources situées dans des VPC. Les points d'extrémité directs offrent de meilleures performances que les points d'extrémité publics et n'entraînent pas de frais pour la bande passante sortante ou entrante, même si le trafic traverse des régions ou des centres de données. Pour plus d'informations, voir Types de points de terminaison.

  • Vous êtes responsable de la maintenance du compartiment de métriques. Sur IBM Cloud Object Storage, vous pouvez définir une règle d'expiration pour conserver les données dans le seau de métriques. Pour plus d'informations, voir Suppression des données périmées à l'aide de règles d'expiration.