Configurando depósitos para armazenamento e procura de longo prazo

IBM Cloud Logs usa IBM Cloud Object Storage buckets para armazenar dados e métricas para armazenamento e pesquisa de longo prazo.

Sobre depósitos

IBM Cloud Object Storage é uma plataforma altamente disponível, durável e segura para armazenar dados não estruturados. Os arquivos transferidos por upload para o IBM Cloud Object Storage são chamados de objetos. Os objetos podem estar em qualquer lugar de alguns bytes até 10TB. Eles são organizados em depósitos que servem como contêineres para objetos e que podem ser configurados independentemente uns dos outros em termos de locais, resiliência, taxas de faturamento, segurança e ciclo de vida do objeto. Para obter mais informações, consulte O que é IBM Cloud Object Storage?.

Para gerenciar os depósitos, seu usuário deve receber permissões para trabalhar com depósitos na instância do IBM Cloud Object Storage. Para obter mais informações sobre funções, consulte Funções do Identity and Access Management.

Para criar um depósito, é possível escolher uma das seguintes opções:

Criar solicitações de bucket
Ação Mais informações
Criar um depósito através da IU do IBM Cloud Saiba mais
Criar um depósito através da CLI do IBM Cloud Saiba mais
Criar um depósito usando cURL Saiba mais
Criar um depósito usando a API de REST Saiba mais
Criar um depósito com uma classe de armazenamento diferente usando a API de REST Saiba mais
Criar um depósito com chaves de criptografia gerenciadas (SSE-KP) do Key Protect ou do Hyper Protect Crypto Services usando a API de REST Saiba mais
Criar um depósito usando o Terraform Saiba mais

Para obter mais informações, consulte Introdução ao IBM Cloud Object Storage.

Sobre baldes com IBM Cloud Logs

Para cada instância do IBM Cloud Logs, você pode configurar 1 bucket de dados e 1 bucket de métricas.

Você pode configurar os buckets de dados e métricas na mesma região ou em uma região diferente da sua instância IBM Cloud Logs. Os buckets e a instância IBM Cloud Logs podem estar na mesma conta ou em contas diferentes.

É necessário criar um depósito com a resiliência de Região cruzada para armazenar e acessar dados em várias regiões geográficas para assegurar recursos de alta disponibilidade, durabilidade e recuperação de desastre Consulte Criação e modificação de IBM Cloud Object Storage buckets.

Você pode configurar o mesmo bucket como seu bucket de dados e seu bucket de métricas. No entanto, considere as seguintes recomendações:

Use compartimentos diferentes para dados e para métricas de ambientes de produção.

Use compartimentos separados para logs e métricas se tiver diferentes requisitos de retenção de dados para logs e métricas.

Você é responsável pelo bucket e pelos dados que são carregados nos buckets. Você decide por quanto tempo deseja manter os dados em um bucket.

  • Os requisitos de conformidade, corporativos e do setor são os principais insumos para ajudar a definir por quanto tempo manter os dados.

  • Em IBM Cloud Object Storage, você pode configurar políticas de ciclo de vida de objetos, incluindo tags, para excluir automaticamente arquivos dos seus buckets.

Os dados excluídos não poderão mais ser consultados. Certifique-se de que você não precisa mais dos dados excluídos para nenhuma consulta ou processo antes de removê-los.

Para usar períodos diferentes de ciclo de vida do objeto para dados de métricas e de registros, é necessário usar compartimentos diferentes para tratar os dados de registros e os dados de métricas separadamente e configurar as políticas de ciclo de vida adequadamente.

Para usar diferentes períodos de ciclo de vida para dados de logs ingeridos por meio de diferentes pipelines de dados, é necessário configurar adequadamente as tags de retenção de arquivos em IBM Cloud Logs e as políticas de ciclo de vida filtrando por tag.

Embora todos os dados armazenados em IBM Cloud Object Storage sejam criptografados automaticamente usando chaves geradas aleatoriamente, algumas cargas de trabalho exigem que as chaves possam ser giradas, excluídas ou controladas de outra forma por um sistema de gerenciamento de chaves (KMS) como IBM® Key Protect for IBM Cloud®. Os dados em repouso são criptografados com a criptografia AES (Advanced Encryption Standard) automática de 256 bits do lado do provedor e o hash SHA (Secure Hash Algorithm) 256. Os dados em movimento são protegidos com o uso da Transport Layer Security/Secure Sockets Layer ( TLS / SSL ) ou SNMPv3 com criptografia AES. Se quiser ter mais controle sobre a criptografia, poderá usar o site IBM® Key Protect for IBM Cloud® para gerenciar a codificação gerada ou "bring your own". Para obter mais informações, consulte Criptografia de um bucket com IBM® Key Protect for IBM Cloud® e Integração COS de proteção de chaves.

Observe que os dados armazenados no bucket de dados incluem dados de todos os pipelines de dados da TCO: dados de Insights prioritários, Analisar e alertar e Armazenar e procurar. Se os dados precisarem ser protegidos apenas por uma criptografia gerenciada pelo cliente, as políticas de TCO precisarão ser configuradas para processar exclusivamente os dados por meio dos pipelines de dados Analisar e alertar ou Armazenar e procurar. Para obter mais informações, consulte Configuração do TCO Optimizer.

O serviço IBM Cloud Object Storage é cobrado separadamente do IBM Cloud Logs. Os custos de armazenamento do IBM Cloud Object Storage são determinados pelo plano de preços que você escolher para a instância IBM Cloud Object Storage.

IBM Cloud Logs não oferece suporte a IBM Cloud Object Storage buckets configurados com políticas de retenção, políticas de bloqueio de objetos ou com acesso público ativado, pois IBM Cloud Logs exige permissões de exclusão nos buckets de registros e métricas.

IAM Service para autorização de serviço entre IBM Cloud Logs e IBM Cloud Object Storage

Você deve definir uma autorização de serviço para serviço ( S2S ) entre IBM Cloud Logs e IBM Cloud Object Storage para permitir que IBM Cloud Logs leia e grave dados nos buckets.

Para obter mais informações, consulte:

Compartimento de dados

Você pode configurar um bucket de dados para uma instância do IBM Cloud Logs. Para obter mais informações, consulte Configurando o depósito de dados..

  • O compartimento de dados armazena e retém os logs pelo tempo que for necessário.

  • Se você tiver requisitos regulamentares e de conformidade, verifique o local onde pode criar o bucket. Então, se o desempenho for crítico, considere a possibilidade de criar o bucket na mesma região em que a instância IBM Cloud Logs é provisionada.

  • Você deve configurar o endpoint direto como o endpoint do bucket.

    Os endpoints diretos são usados para solicitações originadas de recursos dentro de VPCs. Os terminais diretos oferecem melhor desempenho em relação aos terminais públicos e não incorrem em cobranças de largura de banda de saída ou de entrada, mesmo que o tráfego seja entre regiões ou entre data centers. Para obter mais informações, consulte Tipos de endpoint.

  • Você é responsável pela manutenção do depósito de dados Em IBM Cloud Logs, você pode usar tags de objeto IBM Cloud Object Storage para ajudá-lo a gerenciar automaticamente os dados de registro em um bucket. Para obter mais informações, consulte Exclusão de arquivos do intervalo de dados.

Arquivos carregados para o bucket de dados

Os registros são armazenados como arquivos Parquet com a seguinte estrutura:

cx/parquet/v1/team_id=<TEAM>/dt=<DT>/hr=<HR>/UUID.parquet

Os metadados são armazenados em arquivos de manifesto com essa estrutura:

cx/parquet/v1/_manifest/team_id=<TEAM>/dt=<DT>/hr=<HR>/_manifest/UUID.manifest

Por exemplo:

cx/parquet/v1/team_id=58/dt=2024-12-18/hr=14/_manifest/df7bda51-9a1a-4c67-9f4d-b17f93ec4fd1.manifest
cx/parquet/v1/team_id=58/dt=2024-12-18/hr=14/710bb5f8-0cfc-4706-8aec-27ec7d993af8.parquet

Exclusão de arquivos do compartimento de dados

Em IBM Cloud Object Storage, você pode definir regras de expiração (políticas de ciclo de vida) em buckets. Uma regra de expiração exclui objetos após um período definido (a partir da data de criação do objeto). As regras de expiração de cada depósito são avaliadas uma vez a cada 24 horas. Qualquer objeto que se qualifique para expiração (com base na data de expiração dos objetos) será enfileirado para exclusão. A exclusão de objetos expirados inicia no dia seguinte e geralmente leva menos de 24 horas.

  • Você pode configurar regras de expiração que podem limitar o escopo da regra usando um ou mais filtros, como um prefixo de objeto, uma tag de objeto ou um tamanho de objeto.
  • Você pode usar tags como uma opção de filtro que permite que as regras de expiração sejam aplicadas a objetos que contenham uma tag correspondente. O filtro de tag é fornecido como um contêiner que especifica uma string de chave e uma string de valor. A cadeia de caracteres da chave deve ter menos de 128 caracteres.
  • Se nenhum prefixo, tag ou tamanho de objeto for configurado, a política será aplicada a todos os objetos do bucket.

Para obter mais informações, consulte Exclusão de dados obsoletos com regras de expiração.

Em IBM Cloud Object Storage, você pode configurar regras de expiração (políticas de ciclo de vida) para gerenciar automaticamente a exclusão de arquivos de objeto com base no número de dias desde a data de criação do objeto. No entanto, se quiser ter um controle mais granular sobre os dados que são mantidos para pesquisa no balde de dados e excluir arquivos automaticamente usando diferentes períodos de retenção nos dados, será necessário configurar em IBM Cloud Object Storage regras de expiração que limitem o escopo usando a tag de objeto ICL_ARCHIVE_RETENTION e os valores de tag definidos na instância IBM Cloud Logs.

Para usar as tags de retenção de arquivo, você deve concluir as etapas a seguir:

  1. Em IBM Cloud Logs, configure as tags de objeto IBM Cloud Object Storage para gerenciar automaticamente o tempo em que os dados de registro ficam disponíveis para pesquisa no intervalo de dados.

    • Você deve configurar e ativar as tags de retenção de arquivos em sua instância IBM Cloud Logs. Para obter mais informações, consulte Configuração de tags de retenção de arquivos para gerenciar a retenção de dados.
    • É possível definir até 3 tags de objeto personalizadas que podem ser usadas para definir 3 períodos de expiração diferentes nos dados de registro.
    • Você pode usar a tag default para definir um período de expiração padrão que pode ser aplicado aos dados que não são gerenciados explicitamente por meio de uma tag de objeto personalizado.

    Depois de ativar as tags de retenção de arquivos, todos os arquivos em seu bucket de dados são marcados com a tag personalizada ICL_ARCHIVE_RETENTION. O valor da tag é definido como um valor de tag personalizado ou como default. Essa ação não pode ser desfeita As etiquetas de retenção não podem ser desativadas depois de ativadas.

  2. Na seção de políticas de ciclo de vida do bucket de dados IBM Cloud Object Storage, configure regras de expiração para cada tag, inclusive a padrão.

    Use a tecla ICL_ARCHIVE_RETENTION.

    A cadeia de valores deve ter menos de 256 caracteres. Por exemplo, você pode usar valores como high, medium e low.

    Certifique-se de que os nomes das tags que você configurar em IBM Cloud Logs correspondam aos valores das tags que você definiu nas políticas de expiração do seu bucket. Os valores das tags diferenciam maiúsculas de minúsculas.

  3. Em IBM Cloud Logs, configure uma ou mais políticas de TCO e defina a tag de objeto a ser usada com os dados selecionados na política. Se nenhuma tag estiver configurada, a tag default será usada.

    Os dados enviados para o bucket de dados de registro são carregados em arquivos de objeto. Cada arquivo tem uma tag de objeto ICL_ARCHIVE_RETENTION e um valor. Para obter mais informações, consulte Tags de retenção.

As tags de retenção de arquivos são anexadas a arquivos de objetos que são carregados no bucket de dados depois de serem definidos e ativados na instância IBM Cloud Logs.

Restrições de bucket de dados

Classes de armazenamento do

os compartimentos IBM Cloud Object Storage usados por IBM Cloud Logs como compartimentos de dados podem ser configurados somente com as seguintes classes de armazenamento:

  • Camada inteligente
  • Standard

As classes de armazenamento a seguir não são compatíveis com IBM Cloud Logs como compartimentos de dados:

  • Vault
  • Cold Vault

Regras de archive

IBM Cloud Object Storage permite que você defina regras de arquivamento em compartimentos que arquivam objetos automaticamente após o período de tempo definido. Os objetos arquivados têm um custo menor do que os objetos comuns, mas precisam ser restaurados antes de poderem ser lidos novamente.

IBM Cloud Logs não pode ler objetos arquivados. IBM Cloud Logs A pesquisa de objetos arquivados na visualização Todos os registros ou a consulta em Consultas de arquivo retorna uma mensagem de erro.

os compartimentos de dados IBM Cloud Object Storage usados como compartimentos de dados IBM Cloud Logs não devem definir regras de arquivamento que arquivem objetos imediatamente ou que arquivem objetos em poucas horas.

Se não for necessário pesquisar registros mais antigos que um determinado período de tempo, por exemplo, um mês, é possível definir uma regra de arquivamento IBM Cloud Object Storage para arquivar objetos mais antigos que o período de tempo necessário para a pesquisa. Não configure o arquivamento para um período inferior a 7 dias.

Ao arquivar os dados que não precisam ser pesquisados, é possível manter os dados de registro a um custo reduzido. Se necessário, você pode restaurar objetos arquivados se precisar pesquisar os dados usando IBM Cloud Logs no futuro.

Eventos de rastreamento de atividades de leitura bem-sucedidos

IBM Cloud Activity Tracker Event Routing descarta eventos bem-sucedidos do cloud-object-storage.object.read iniciados por instâncias do IBM Cloud Logs porque eles não são necessários. Ao revisar os eventos de rastreamento de atividades relacionados à atividade IBM Cloud Logs, você não verá eventos cloud-object-storage.object.read bem-sucedidos.

Bucket de métricas

Você pode configurar um bucket de métricas para uma instância do IBM Cloud Logs. Para obter mais informações, consulte Configurando o depósito de métricas.

  • O depósito de métricas armazena e retém métricas de seus eventos em um índice de longo prazo pelo tempo necessário.

    Ao ativar métricas, é possível gerar métricas a partir de logs. Essas métricas são armazenadas no depósito de métricas como Prometheus blocos de índice.

  • Se você tiver requisitos regulamentares e de conformidade, verifique o local onde pode criar o bucket. Então, se o desempenho for crítico, considere a possibilidade de criar o bucket na mesma região em que a instância IBM Cloud Logs é provisionada.

  • Você deve configurar o endpoint direto como o endpoint do bucket.

    Os endpoints diretos são usados para solicitações a um bucket que se originam de recursos dentro de VPCs. Os terminais diretos oferecem melhor desempenho em relação aos terminais públicos e não incorrem em cobranças de largura de banda de saída ou de entrada, mesmo que o tráfego seja entre regiões ou entre data centers. Para obter mais informações, consulte Tipos de endpoint.

  • Você é responsável pela manutenção do depósito de métricas. Em IBM Cloud Object Storage, você pode definir uma regra de expiração para manter os dados no bucket de métricas. Para obter mais informações, consulte Exclusão de dados obsoletos com regras de expiração.