配置 TCO 优化器

在 IBM® Cloud Logs 中,您可以配置总体拥有成本 ( TCO 优化器 ) 并定义策略,根据业务价值指定如何将日志路由到不同的数据管道。 每种管道的存储价格不同,提供的功能也不同。 通过根据数据对业务的重要性来定义数据管道,TCO 优化器 可以帮助您改进实时分析和警报,并帮助您管理成本。 此外,如果在 IBM Cloud Logs 实例中启用存档保留标签,还可以为每个策略配置不同的数据保留期。

关于 TCO 优化器

默认情况下,向 IBM Cloud Logs 实例发送数据时,数据会在摄取时路由到 优先级洞察 数据管道。 IBM® Cloud Logs 服务会按照您在实例级别指定的天数保留并搜索这些数据。 您可以设置 7 天、14 天、30 天或 90 天。

TCO 优化器 包括以下数据管道:

优先级洞察
需要立即访问和完整 IBM Cloud Logs 分析功能的日志。 这些日志通常是需要单独分析或查询的高严重性或业务关键型日志。
分析和警报
需要处理的日志,如果需要,可以稍后从归档中查询这些日志。 这些日志通常是用于监控、故障排除和统计分析的日志。
存储和搜索
出于合规性或后处理原因而需要保留的日志,但可以从归档中进行维护和查询。
已阻止
被丢弃且无法搜索的日志。

在配置 IBM Cloud Logs 实例而不配置 IBM Cloud Object Storage 桶时,数据只能路由到 优先级洞察 管道或被阻止。

为 IBM Cloud Logs 实例配置 IBM Cloud Object Storage 数据桶时,路由到 优先级洞察 管道、分析和警报 管道和 存储和搜索 管道的数据将存储在 IBM Cloud Object Storage 数据桶 中。

要配置 TCO 优化器 并使用不同的数据管道,必须在 IBM Cloud Logs 实例中附加一个 IBM Cloud Object Storage 数据桶。 如果实例未连接数据桶,并且配置了将数据发送到 分析和警报 或 存储和搜索 数据管道的策略,则数据无法在数据桶中存档,因此无法用于搜索或警报。

通过配置块解析规则(可选择通过实时尾部和搜索查看数据)发送到 存储和搜索 管道的数据也会存储在数据桶中。 不过,请注意,在应用 TCO 优化器 策略后,会应用阻止解析规则。 存档保留标记不能与通过块解析规则发送到 存储和搜索 的数据一起使用。

配置 TCO 策略时,会为每个策略分配一个优先级。 所选优先级决定符合标准的日志的 TCO 数据管道。

将政策优先事项与技术合作组织管道相匹配
优先级值 TCO 管道
High 优先级洞察
Medium 分析和警报
Low 存储和搜索
Blocked [*]

[*] 将删除具有 Blocked 优先级的匹配策略的日志,并且不会将其发送到任何 TCO 管道。

您可以根据应用程序名称、子系统名称和日志严重性对数据应用策略。 这 3 个字段是所有日志数据都必须包含的元数据字段。 更多信息,请参阅 元数据字段

图片显示了不同的可用数据管道。
可用的数据管道。

每种管道都具有不同的功能:

各数据管道提供的功能
功能 优先级洞察 分析和警报 存储和搜索
高速搜索 没有 没有
使用热存储的仪表板和分析功能 没有 没有
使用仪表板和分析 IBM Cloud Object Storage 没有
智能日志分析 没有
日志警报 没有
日志数据中的指标最多可保存 1 年 没有
重新索引日志以便进一步分析
搜索登录 IBM Cloud Object Storage
将日志存储在 IBM Cloud Object Storage
解析规则
定制数据浓缩
模式存储
动态警报 没有
模板 没有
异常检测 没有

政策按顺序评估,默认情况下自上而下。 应用第一个匹配策略,不评估其他策略。

  • 如果策略冲突,那么 TCO 优化器 页面上列出的第一个策略优先。
  • 策略按配置的顺序处理,并显示在用户界面上。 第一个匹配的策略就是应用的策略。 其余政策将被忽略。
  • 屏蔽数据的政策应最后定义。

优先级洞察 数据管道

优先级洞察 数据管道用于需要立即关注和干预的高优先级日志,如用于故障排除或分析意外行为的日志。

高级原木的功能包括

  • 无服务器监控

  • 快速查询

  • 自定义仪表板

  • 服务 类目

  • 服务地图

  • 告警

  • 事件到指标

  • 查询档案

  • 在探索屏幕中查看轨迹

分析和警报 数据管道

使用 分析和警报 数据管道处理中等优先级的日志,这些日志可能需要在某个时间点进行处理,但不需要立即处理。

中等优先级日志的可用功能包括

  • 服务 类目

  • 服务地图

  • 告警

  • 事件到指标

  • 查询档案

  • 在探索屏幕中查看轨迹

存储和搜索 数据管道

对于出于合规目的必须保留但不需要采取行动的日志,请使用 存储和搜索 数据管道

低优先级日志的可用功能包括

  • 查询档案

  • 在探索屏幕中查看轨迹

访问TCO 优化器

完成以下步骤访问 TCO 优化器:

  1. 启动 IBM Cloud Logs UI。

  2. 单击数据管道图标数据管道图标 > TCO 优化器

TCO 优化器 页面显示在应用配置的策略后流向每个管道的采集数据所占的百分比。

创建策略

创建策略前,必须配置 IBM Cloud Object Storage 数据桶

在 TCO 优化器 页面上,完成以下步骤以创建新策略:

  1. 单击创建策略

  2. 详细信息部分,完成以下任务:

    输入策略名称。

    输入描述。 该描述是可选的。

    确定政策顺序。 这个顺序决定了多个策略匹配时应用哪条规则。 默认情况下,第一条策略具有最高优先级。

  3. “筛选器”部分,添加 1 个或多个筛选器,以配置与该策略相关的应用程序、子系统和严重性值。

    对于应用程序和子系统,可以在值与下列其中一项匹配时指定条件: AllIsIs NotIncludesStarts With

  4. 在“优先级”部分,设置策略的优先级。 优先级确定策略所匹配的日志的 管道

    有效值为:High,用于通过 优先级洞察 管理的数据; Medium,用于通过 分析和警报 管理的数据; Low,用于通过 存储和搜索 管理的数据; Block,用于您放弃的数据,不可用于搜索。

    默认值为 High

  5. 存档保留部分,选择 保留标签

    默认情况下,选择“默认”标签。

    请注意,如果定义并激活了保留标记,就可以使用保留标记。

  6. 单击应用

修改策略

在 TCO 优化器 页面上,完成以下步骤以修改现有策略:

  1. 单击要更改的策略。

  2. 修改条件。

  3. 单击应用

如果要更改策略优先级值,也可以更改策略列表中策略的优先级下拉列表中的优先级。 优先级确定策略所匹配的日志的 管道

删除策略

在 TCO 优化器 页面上,完成以下步骤以删除现有策略:

  1. 单击要删除的策略。

  2. 单击删除

  3. 确认要删除策略。

创建应用程序和策略覆盖

配置应用程序和策略覆盖只能通过用户界面进行。

应用程序和策略覆盖 "部分显示产生日志的所有应用程序和子系统的使用情况,按产生日志最多的程序排序。 您可以使用筛选器轻松搜索和筛选列表。

单击一行,您将看到应用程序-子系统配对使用情况的详细视图,视图按严重程度和分配的 TCO 管道优先级排列。

在此视图中,您可以更改整个应用程序-子系统对的优先级,或更改任何应用程序-子系统对中特定日志严重性的优先级。 优先级将决定发送配对数据的 TCO 数据管道。 如果不同严重程度有不同的优先级,则应用程序和策略重写表中显示的策略状态将是多重的

要覆盖特定应用程序-子系统配对的优先级,请执行以下操作:

  1. 应用程序和策略覆盖中单击要修改的应用程序-子系统对。

  2. 根据需要更新优先级。

    • 要更新整个应用程序-服务器系统配对使用的优先级,请将设置优先级更改为首选优先级。

    • 要根据日志严重性更新优先级,请在 “调整严重性”中将特定严重性的优先级更改为首选优先级。

  3. 单击“应用”保存更改。

如果要将所有应用程序-子系统对的所有覆盖重置为默认行为,请单击重置所有覆盖。 请注意,这将重置所有覆盖。