Configuración de grupos para almacenamiento y búsqueda a largo plazo

IBM Cloud Logs utiliza cubos de IBM Cloud Object Storage para almacenar datos y métricas para el almacenamiento a largo plazo y la búsqueda.

Acerca de los grupos

IBM Cloud Object Storage es una plataforma altamente disponible, duradera y segura para almacenar datos no estructurados. Los archivos que se cargan en IBM Cloud Object Storage se denominan objetos. Los objetos pueden estar en cualquier lugar desde unos pocos bytes hasta 10TB. Se organizan en grupos que sirven como contenedores para objetos, y que se pueden configurar de forma independiente entre sí en términos de ubicaciones, resiliencia, tasas de facturación, seguridad y ciclo de vida de los objetos. Para obtener más información, consulte ¿Qué es IBM Cloud Object Storage?.

Para gestionar los grupos, se deben otorgar al usuario permisos para trabajar con grupos en la instancia de IBM Cloud Object Storage. Para obtener más información sobre los roles, consulte Roles de Identity and Access Management.

Para crear un grupo, puede elegir 1 de las opciones siguientes:

Crear solicitudes de cubos
Acción Más información
Crear un grupo a través de la interfaz de usuario de IBM Cloud Más información
Crear un grupo a través de la CLI de IBM Cloud Más información
Crear un grupo utilizando cURL Más información
Crear un grupo utilizando la API REST Más información
Crear un grupo con una clase de almacenamiento diferente utilizando la API REST Más información
Crear un grupo con claves de cifrado gestionadas por Key Protect o Hyper Protect Crypto Services (SSE-KP) utilizando la API REST Más información
Crear un grupo utilizando Terraform Más información

Para obtener más información, consulte Iniciación a IBM Cloud Object Storage.

Acerca de los cubos con IBM Cloud Logs

Para cada instancia de IBM Cloud Logs, puede configurar 1 bucket de datos y 1 bucket de métricas.

Puede configurar los buckets de datos y métricas en la misma región o en una región distinta de su instancia de IBM Cloud Logs. Los cubos y la instancia IBM Cloud Logs pueden estar en la misma cuenta o en cuentas diferentes.

Debe crear un grupo con resiliencia de Varias regiones para almacenar y acceder a datos en varias regiones geográficas para garantizar prestaciones de alta disponibilidad, durabilidad y recuperación tras desastre. Véase Creación y modificación de cubos IBM Cloud Object Storage.

Puede configurar el mismo bucket como su bucket de datos y su bucket de métricas. No obstante, tenga en cuenta las siguientes recomendaciones:

Utilice cubos diferentes para los datos y para las métricas de los entornos de producción.

Utilice cubos separados para registros y métricas si tiene diferentes requisitos de retención de datos en registros y métricas.

Usted es responsable del cubo y de los datos que se cargan en los cubos. Tú decides durante cuánto tiempo quieres conservar los datos en un cubo.

  • Los requisitos de conformidad, corporativos e industriales son elementos clave para ayudar a definir durante cuánto tiempo conservar los datos.

  • En IBM Cloud Object Storage, puede configurar las políticas del ciclo de vida de los objetos, incluidas las etiquetas, para eliminar automáticamente los archivos de sus buckets.

Los datos eliminados ya no se podrán consultar. Asegúrate de que ya no necesitas los datos borrados para ninguna consulta o proceso antes de eliminarlos.

Para utilizar diferentes periodos de ciclo de vida de los objetos para los datos de métricas y registros, debe utilizar diferentes buckets para gestionar sus datos de registro y sus datos de métricas por separado, y configurar las políticas de ciclo de vida adecuadamente.

Para utilizar diferentes periodos de ciclo de vida para los datos de registros que se ingieren a través de diferentes canalizaciones de datos, debe configurar las etiquetas de retención de archivos en IBM Cloud Logs y las políticas de ciclo de vida filtrando por etiqueta adecuadamente.

Aunque todos los datos almacenados en IBM Cloud Object Storage se cifran automáticamente utilizando claves generadas aleatoriamente, algunas cargas de trabajo requieren que las claves puedan rotarse, borrarse o controlarse de otro modo mediante un sistema de gestión de claves (KMS) como IBM® Key Protect for IBM Cloud®. Los datos en reposo se cifran automáticamente mediante el estándar de cifrado avanzado (AES) de 256 bits del proveedor y el algoritmo de hash seguro (SHA)-256. Los datos en movimiento están protegidos mediante el sistema integrado Transport Layer Security/Secure Sockets Layer ( TLS / SSL ) o SNMPv3 con cifrado AES. Si desea un mayor control sobre el cifrado, puede hacer uso de IBM® Key Protect for IBM Cloud® para gestionar las claves generadas o "bring your own". Para obtener más información, consulte Cifrado de un bucket con IBM® Key Protect for IBM Cloud® e Integración de COS con protección de claves.

Obsérvese que los datos almacenados en el cubo de datos incluyen datos de todas las canalizaciones de datos de TCO: datos de Información prioritaria, Analizar y alertar y Almacenar y buscar. Si los datos deben protegerse únicamente mediante un cifrado gestionado por el cliente, las políticas de TCO deben configurarse para procesar los datos exclusivamente a través de los conductos de datos Analizar y alertar o Almacenar y buscar. Para más información, consulte Configuración del optimizador de TCO.

El servicio IBM Cloud Object Storage se factura por separado de IBM Cloud Logs. Los costes de almacenamiento de IBM Cloud Object Storage vienen determinados por el plan de precios que elija para la instancia IBM Cloud Object Storage.

IBM Cloud Logs no es compatible con los buckets IBM Cloud Object Storage configurados con políticas de retención, políticas de bloqueo de objetos o con acceso público activado, ya que IBM Cloud Logs requiere permisos de eliminación en los buckets de registros y métricas.

IAM Service a la autorización del servicio entre IBM Cloud Logs y IBM Cloud Object Storage

Debe definir una autorización de servicio a servicio ( S2S ) entre IBM Cloud Logs y IBM Cloud Object Storage para permitir que IBM Cloud Logs lea y escriba datos en los buckets.

Para obtener más información, consulte:

Grupo de datos

Puede configurar un bucket de datos para una instancia de IBM Cloud Logs. Para obtener más información, consulte Configuración del grupo de datos.

  • El grupo de datos almacena y conserva los registros durante el tiempo que los necesite.

  • Si tiene requisitos normativos y de cumplimiento, compruebe la ubicación donde puede crear el cubo. A continuación, si el rendimiento es crítico, considere la posibilidad de crear el bucket en la misma región en la que se aprovisiona la instancia IBM Cloud Logs.

  • Debe configurar el punto final directo como punto final del cubo.

    Los puntos finales directos se utilizan para las solicitudes que se originan en recursos dentro de las VPC. Los terminales directos ofrecen un mejor rendimiento que los terminales públicos y no incurren en gastos por el ancho de banda saliente o entrante, incluso si el tráfico atraviesa regiones o centros de datos. Para más información, consulte Tipos de punto final.

  • Usted es responsable del mantenimiento del grupo de datos. En IBM Cloud Logs, puede utilizar las etiquetas de objeto IBM Cloud Object Storage para ayudarle a gestionar automáticamente los datos de registro de un bucket. Para obtener más información, consulte Eliminación de archivos del cubo de datos.

Archivos cargados en el cubo de datos

Los registros se almacenan como archivos Parquet con la siguiente estructura:

cx/parquet/v1/team_id=<TEAM>/dt=<DT>/hr=<HR>/UUID.parquet

Los metadatos se almacenan en archivos de manifiesto con esta estructura:

cx/parquet/v1/_manifest/team_id=<TEAM>/dt=<DT>/hr=<HR>/_manifest/UUID.manifest

Por ejemplo:

cx/parquet/v1/team_id=58/dt=2024-12-18/hr=14/_manifest/df7bda51-9a1a-4c67-9f4d-b17f93ec4fd1.manifest
cx/parquet/v1/team_id=58/dt=2024-12-18/hr=14/710bb5f8-0cfc-4706-8aec-27ec7d993af8.parquet

Borrar archivos del cubo de datos

En IBM Cloud Object Storage, puede definir reglas de caducidad (políticas de ciclo de vida) en los buckets. Una regla de caducidad suprime los objetos después de un periodo de tiempo definido (desde la fecha de creación del objeto). Las reglas de caducidad de cada grupo se evalúan cada 24 horas. Cualquier objeto apto para que caduque (en función de la fecha de caducidad de los objetos) se colocará en la cola para su supresión. La supresión de los objetos caducados empieza al día siguiente y suele tardar menos de 24 horas.

  • Puede configurar reglas de expiración que pueden limitar el alcance de la regla utilizando uno o más filtros, como un prefijo de objeto, una etiqueta de objeto o un tamaño de objeto.
  • Puede utilizar las etiquetas como una opción de filtro que permite que las reglas de expiración se apliquen a los objetos que contengan una etiqueta coincidente. El filtro de etiquetas se proporciona como un contenedor que especifica una cadena clave y una cadena de valores. La cadena de claves debe tener menos de 128 caracteres.
  • Si no se configura ningún prefijo, etiqueta o tamaño de objeto, la política se aplicará a todos los objetos del bucket.

Para obtener más información, consulte Eliminación de datos obsoletos con reglas de caducidad.

En IBM Cloud Object Storage, puede configurar reglas de caducidad (políticas de ciclo de vida) para gestionar automáticamente la eliminación de archivos de objetos en función del número de días transcurridos desde la fecha de creación del objeto. Sin embargo, si desea un control más granular sobre los datos que se conservan para la búsqueda en el bucket de datos y eliminar archivos automáticamente mediante el uso de diferentes periodos de retención en los datos, debe configurar en IBM Cloud Object Storage reglas de caducidad que limiten el alcance mediante la etiqueta de objeto ICL_ARCHIVE_RETENTION y utilizar los valores de etiqueta que defina en su instancia de IBM Cloud Logs.

Para utilizar etiquetas de retención de archivo, debe completar los siguientes pasos:

  1. En IBM Cloud Logs, configure las etiquetas de objeto de IBM Cloud Object Storage para gestionar automáticamente el tiempo que los datos de registro están disponibles para la búsqueda en el bucket de datos.

    • Debe configurar y activar las etiquetas de retención de archivos en su instancia de IBM Cloud Logs. Para obtener más información, consulte Configuración de etiquetas de retención de archivo para gestionar la retención de datos.
    • Puede definir hasta 3 etiquetas de objeto personalizadas que puede utilizar para definir 3 periodos de caducidad diferentes en los datos de registro.
    • Puede utilizar la etiqueta default para definir un periodo de caducidad predeterminado que puede aplicar a los datos que no se gestionan explícitamente a través de una etiqueta de objeto personalizada.

    Después de activar las etiquetas de retención de archivos, cada archivo de su cubo de datos se etiqueta con la etiqueta personalizada ICL_ARCHIVE_RETENTION. El valor de la etiqueta se establece en un valor de etiqueta personalizado o en default. Esta acción no se puede deshacer. Las etiquetas de retención no pueden desactivarse una vez activadas.

  2. En la sección IBM Cloud Object Storage data bucket lifecycle policies, configure las reglas de caducidad para cada etiqueta, incluidas las predeterminadas.

    Utilice la tecla ICL_ARCHIVE_RETENTION.

    La cadena de valores debe tener menos de 256 caracteres. Por ejemplo, puede utilizar valores como high, medium, y low.

    Asegúrese de que los nombres de las etiquetas que configure en IBM Cloud Logs coincidan con los valores de las etiquetas que haya establecido en las políticas de caducidad de su cubo. Los valores de las etiquetas distinguen entre mayúsculas y minúsculas.

  3. En IBM Cloud Logs, configure 1 o más políticas TCO y defina la etiqueta de objeto a utilizar con los datos seleccionados en la política. Si no se configura ninguna etiqueta, se utiliza la etiqueta default.

    Los datos que se envían al bucket de datos de registro se cargan en archivos de objetos. Cada archivo tiene 1 etiqueta de objeto ICL_ARCHIVE_RETENTION y valor. Para más información, consulte Etiquetas de retención.

Las etiquetas de retención de archivos se adjuntan a los archivos de objetos que se cargan en el bucket de datos una vez definidos y activados en la instancia IBM Cloud Logs.

Restricciones de los cubos de datos

Clases de almacenamiento

los buckets 'IBM Cloud Object Storage ' utilizados por ' IBM Cloud Logs ' como buckets de datos sólo pueden configurarse con el siguiente ' clases de almacenamiento:

  • Smart Tier
  • Standard

Las siguientes clases de almacenamiento no son compatibles con IBM Cloud Logs como buckets de datos:

  • Caja fuerte
  • Caja fuerte fría

Reglas de archivado

IBM Cloud Object Storage permite definir reglas de archivado en cubos que archivan objetos automáticamente tras el periodo de tiempo definido. Los objetos archivados tienen un coste inferior al de los objetos normales, pero necesitan ser restaurados antes de poder ser leídos de nuevo.

IBM Cloud Logs no puede leer objetos archivados. IBM Cloud Logs la búsqueda de objetos archivados en la vista All Logs, o la consulta en Archive queries, devuelve un mensaje de error.

los buckets "IBM Cloud Object Storage " utilizados como buckets de datos " IBM Cloud Logs " no deben definir reglas de archivo que archiven inmediatamente los objetos, o que archiven los objetos en pocas horas.

Si no necesita buscar registros anteriores a un determinado periodo de tiempo, por ejemplo, un mes, puede definir una regla de archivo IBM Cloud Object Storage para archivar objetos anteriores al periodo de tiempo necesario para la búsqueda. No configure el archivado para un periodo inferior a 7 días.

Al archivar los datos que no necesita buscar, puede conservar los datos de registro con un coste reducido. En caso necesario, puede restaurar los objetos archivados si necesita buscar los datos mediante IBM Cloud Logs en el futuro.

Eventos de seguimiento de actividad de lectura correctos

IBM Cloud Activity Tracker Event Routing elimina los eventos de cloud-object-storage.object.read exitosos que se inician desde instancias de IBM Cloud Logs porque no son necesarios. Al revisar los eventos de seguimiento de actividad relacionados con una actividad de IBM Cloud Logs, no verá eventos de cloud-object-storage.object.read encia correctos.

Grupo de métricas

Puede configurar un bucket de métricas para una instancia de IBM Cloud Logs. Para obtener más información, consulte Configuración del grupo de métricas.

  • El grupo de métricas almacena y conserva las métricas de los sucesos en un índice a largo plazo durante el tiempo que las necesite.

    Cuando habilita las métricas, puede generar métricas a partir de los registros. Estas métricas se almacenan en el grupo de métricas como bloques de índice dePrometheus.

  • Si tiene requisitos normativos y de cumplimiento, compruebe la ubicación donde puede crear el cubo. A continuación, si el rendimiento es crítico, considere la posibilidad de crear el bucket en la misma región en la que se aprovisiona la instancia IBM Cloud Logs.

  • Debe configurar el punto final directo como punto final del cubo.

    Los endpoints directos se utilizan para peticiones a un bucket que se originan desde recursos dentro de VPCs. Los terminales directos ofrecen un mejor rendimiento que los terminales públicos y no incurren en gastos por el ancho de banda saliente o entrante, incluso si el tráfico atraviesa regiones o centros de datos. Para más información, consulte Tipos de punto final.

  • Usted es responsable del mantenimiento del grupo de métricas. En IBM Cloud Object Storage, puede definir una regla de caducidad para mantener los datos en el bucket de métricas. Para obtener más información, consulte Eliminación de datos obsoletos con reglas de caducidad.