配置存储区以进行长期存储和搜索

IBM Cloud Logs IBM Cloud Object Storage 桶来存储数据和指标，以便进行长期存储和搜索。

关于存储区

IBM Cloud Object Storage 是一个高度可用、耐用和安全的非结构化数据存储平台。上载到 IBM Cloud Object Storage 的文件称为对象。对象可以是从几个字节到 10TB的任何位置。它们被组织成作为对象容器的存储区，并且可以在位置，弹性，计费率，安全性和对象生命周期方面相互独立配置。有关更多信息，请参阅什么是 IBM Cloud Object Storage?。

要管理存储区，必须向用户授予使用 IBM Cloud Object Storage 实例上存储区的许可权。有关角色的更多信息，请参阅 Identity and Access Management 角色。

要创建存储区，您可以选择以下选项中的 1:

创建水桶请求
操作	更多信息
通过 IBM Cloud UI 创建存储区	了解更多
通过 IBM Cloud CLI 创建存储区	了解更多
使用 cURL 创建存储区	了解更多
使用 REST API 创建水桶	了解更多
使用 REST API 创建具有不同存储类的存储区	了解更多
使用 REST API 使用 Key Protect 或 Hyper Protect Crypto Services 受管加密密钥 (SSE-KP) 创建存储区	了解更多
使用 Terraform 创建存储区	了解更多

更多信息，请参阅 IBM Cloud Object Storage 入门。

关于带有 IBM Cloud Logs

对于每个 IBM Cloud Logs 实例，可以配置 1 个数据桶和 1 个指标桶。

数据桶用于存储已接收但未被 TCO 策略或块解析规则阻止的日志。有关更多信息，请参阅配置数据存储区。
指标桶用于存储收集到的数据使用指标以及生成的指标 IBM Cloud Logs。有关配置指标桶的信息，请参阅配置指标桶。

您可以在同一区域或与 IBM Cloud Logs 实例不同的区域配置数据和指标桶。存储桶和 IBM Cloud Logs 实例可以在同一个账户中，也可以在不同的账户中。

您应该创建具有 跨区域 弹性的存储区，以跨多个地理区域存储和访问数据，从而确保高可用性，耐久性和灾难恢复功能。请参阅创建和修改 IBM Cloud Object Storage 桶。

您可以将同一个数据桶配置为数据桶和指标桶。不过，请考虑以下建议：

为生产环境的数据和指标使用不同的存储桶。

如果对日志和指标有不同的数据保留要求，请为日志和指标使用不同的存储桶。

您要对邮筒和上传到邮筒中的数据负责。您可以决定将数据保存在数据桶中的时间。

合规性、企业和行业要求是帮助确定数据保存期限的关键因素。
在 IBM Cloud Object Storage 中，您可以配置对象生命周期策略（包括标签），以自动删除存储桶中的文件。

删除的数据将不再可查询。在删除数据之前，请确保您不再需要被删除的数据进行任何查询或处理。

要对度量和日志数据使用不同的对象生命周期，必须使用不同的桶来分别处理日志数据和度量数据，并适当配置生命周期策略。

要对通过不同数据管道摄取的日志数据使用不同的生命周期，必须在 IBM Cloud Logs 中配置存档保留标记，并在生命周期策略中按标记进行适当过滤。

虽然 IBM Cloud Object Storage 中存储的所有数据都是使用随机生成的密钥自动加密的，但有些工作负载要求密钥可以轮换、删除或由密钥管理系统（KMS）（如 IBM® Key Protect for IBM Cloud® ）以其他方式控制。静态数据采用自动提供方高级加密标准（AES）256 位加密和安全散列算法（SHA）256 散列进行加密。通过使用内置的电信级传输层安全/安全套接字层（ TLS / SSL ）或 SNMPv3 与 AES 加密，可确保运动中的数据安全。如果想对加密进行更多控制，可以使用 IBM® Key Protect for IBM Cloud® 管理生成的密钥或“自带”密钥。更多信息，请参见用 IBM® Key Protect for IBM Cloud® 和密钥保护 COS 集成。

请注意，存储在数据桶中的数据包括所有 TCO 数据管道中的数据：来自优先级洞察、分析和警报和存储和搜索的数据。如果数据必须仅由客户管理加密保护，则需要配置 TCO 策略，以便仅通过分析和警报或存储和搜索数据管道处理数据。更多信息，请参阅配置 TCO 优化器。

IBM Cloud Object Storage 服务与 IBM Cloud Logs 单独计费。IBM Cloud Object Storage 存储成本由您为 IBM Cloud Object Storage 实例选择的定价计划决定。

IBM Cloud Logs 不支持 IBM Cloud Object Storage 配置了保留策略、对象锁定策略或启用了公共访问的存储桶，因为 IBM Cloud Logs 需要日志和度量存储桶上的删除权限。

IAM Service IBM Cloud Logs 和 IBM Cloud Object Storage

您必须在 IBM Cloud Logs 和 IBM Cloud Object Storage 之间定义服务对服务 ( S2S ) 授权，以允许 IBM Cloud Logs 读取和写入数据桶中的数据。

要获取更多信息，请参阅：

数据存储区

您可以为 IBM Cloud Logs 实例配置数据桶。有关更多信息，请参阅配置数据存储区。

只要您需要日志，数据存储区就会存储并保留日志。
如果您有法规和合规性要求，请检查可以创建存储区的位置。然后，如果性能至关重要，请考虑在供应 IBM Cloud Logs 实例的区域中创建存储区。
您必须将直接端点配置为邮筒端点。

直接端点用于处理来自 VPC 内资源的请求。直接端点比公共端点提供更好的性能，即使流量跨区域或跨数据中心，也不会产生任何传出或传入带宽费用。更多信息，请参阅端点类型。
您负责维护数据存储区。在 IBM Cloud Logs 中，您可以使用 IBM Cloud Object Storage 对象标签来帮助您自动管理数据桶中的日志数据。有关详细信息，请参阅从数据桶中删除文件。

上传到数据桶的文件

日志以 Parquet 文件格式存储，结构如下

cx/parquet/v1/team_id=<TEAM>/dt=<DT>/hr=<HR>/UUID.parquet

_元数据_以这种结构存储在清单文件中：

cx/parquet/v1/_manifest/team_id=<TEAM>/dt=<DT>/hr=<HR>/_manifest/UUID.manifest

例如：

cx/parquet/v1/team_id=58/dt=2024-12-18/hr=14/_manifest/df7bda51-9a1a-4c67-9f4d-b17f93ec4fd1.manifest
cx/parquet/v1/team_id=58/dt=2024-12-18/hr=14/710bb5f8-0cfc-4706-8aec-27ec7d993af8.parquet

从数据桶中删除文件

在 IBM Cloud Object Storage 中，您可以定义存储桶的过期规则（生命周期策略）。到期规则用于在定义的时间段之后（从对象创建日期起算）删除对象。每个存储区的到期规则会每 24 小时求值一次。符合到期条件的任何对象（根据对象的到期日期）都将排队等待删除。删除到期对象将在到期之日的第二天开始，并且通常需要的时间少于 24 小时。

您可以配置失效规则，通过使用一个或多个过滤器（如对象前缀、对象标记或对象大小）来限制规则的范围。
您可以使用标签作为过滤选项，让过期规则适用于包含匹配标签的对象。标签过滤器以容器形式提供，其中指定了关键字符串和值字符串。密钥字符串必须少于 128 个字符。
如果未配置前缀、标记或对象大小，则策略将适用于数据桶中的所有对象。

更多信息，请参阅使用过期规则删除过期数据。

在 IBM Cloud Object Storage 中，可以配置过期规则（生命周期策略），根据对象创建日期后的天数自动管理对象文件的删除。但是，如果要对数据桶中用于搜索的数据进行更精细的控制，并通过对数据使用不同的保留期来自动删除文件，则必须在 IBM Cloud Object Storage 中配置过期规则，通过使用对象标记 ICL_ARCHIVE_RETENTION 来限制范围，并使用在 IBM Cloud Logs 实例中定义的标记值。

要使用存档保留标记，必须完成以下步骤：

在 IBM Cloud Logs 中，配置 IBM Cloud Object Storage 对象标签，以自动管理数据桶中可供搜索日志数据的时间长度。
- 您必须在 IBM Cloud Logs 实例中配置并启用存档保留标记。有关更多信息，请参阅配置存档保留标记以管理数据保留。
- 您最多可以定义 3 个自定义对象标记，用来定义日志数据的 3 个不同有效期。
- 您可以使用 default 标签定义默认失效期，以便将其应用于未通过自定义对象标签显式管理的数据。
激活存档保留标记后，数据桶中的每个文件都会被打上自定义标记 ICL_ARCHIVE_RETENTION。标签值被设置为自定义标签值或 default。无法撤销此操作。保留标签一旦启用就不能停用。
在 IBM Cloud Object Storage 数据桶生命周期策略部分，为每个标签配置过期规则，包括默认规则。

使用按键 ICL_ARCHIVE_RETENTION。

值字符串必须少于 256 个字符。例如，可以使用 high, medium，和 low 等值。

确保您在 IBM Cloud Logs 中配置的标签名称与您在水桶过期策略中设置的标签值相匹配。标签值区分大小写。
在 IBM Cloud Logs 中，配置 1 个或多个 TCO 策略，并定义与策略中所选数据一起使用的对象标记。如果没有配置标签，则使用 default 标签。

发送到日志数据桶的数据会上载到对象文件中。每个文件都有一个对象标签 ICL_ARCHIVE_RETENTION 和值。更多信息，请参阅保留标记。

存档保留标签在 IBM Cloud Logs 实例中定义并启用后，会附加到上载到数据桶的对象文件上。

数据桶限制

存储类

IBM Cloud Logs“作为数据桶使用的IBM Cloud Object Storage桶只能通过以下”存储类进行配置：

智能分层
标准

IBM Cloud Logs不支持将以下存储类作为数据桶：

保险库
冷保险库

归档规则

IBM Cloud Object Storage可让您为存储桶定义归档规则，使其在定义的时间段后自动归档对象。存档对象的成本比普通对象低，但需要还原后才能再次读取。

IBM Cloud Logs无法读取存档对象。IBM Cloud Logs在“所有日志”视图中搜索存档对象，或在 “存档查询”中查询，都会返回错误信息。

IBM Cloud Object Storage 用作 IBM Cloud Logs 数据桶的数据桶不得定义立即存档对象或在几小时内存档对象的存档规则。

如果不需要搜索超过某个时间段（例如一个月）的日志，可以定义IBM Cloud Object Storage存档规则，将超过搜索所需时间段的对象存档。不要配置少于 7 天的存档。

通过归档不需要搜索的数据，可以降低成本保留日志数据。如果将来需要使用IBM Cloud Logs搜索数据，可以根据需要还原存档对象。

阅读活动追踪成功

IBM Cloud Activity Tracker Event Routing 删除由实例发起的成功事件，因为它们不再需要。IBM Cloud Logs cloud-object-storage.object.read 当查看与 IBM Cloud Logs 活动相关的活动跟踪事件时，您将不会看到成功的 cloud-object-storage.object.read 事件。

指标存储区

您可以为 IBM Cloud Logs 实例配置指标桶。有关更多信息，请参阅配置度量值存储区。

度量值存储区在长期索引中存储并保留来自事件的度量值，只要您需要这些度量值。

启用度量时，可以从日志生成度量。这些度量作为 Prometheus 索引块存储在度量存储区中。
如果您有法规和合规性要求，请检查可以创建存储区的位置。然后，如果性能至关重要，请考虑在供应 IBM Cloud Logs 实例的区域中创建存储区。
您必须将直接端点配置为邮筒端点。

直接端点用于从 VPC 内的资源向数据桶发出请求。直接端点比公共端点提供更好的性能，即使流量跨区域或跨数据中心，也不会产生任何传出或传入带宽费用。更多信息，请参阅端点类型。
您负责维护度量值存储区。在 IBM Cloud Object Storage 中，您可以定义过期规则，以维护指标桶中的数据。更多信息，请参阅使用过期规则删除过期数据。