使用规则组

在 IBM® Cloud Logs 中,解析规则被组织在规则组内。 每个组都有一个名称和一组规则,它们之间具有逻辑关系。 根据规则组的顺序 (从开始到结束) 处理日志。 然后,根据规则组中的规则顺序并根据它们之间的逻辑运算符 (AND/OR) 对它们进行处理。规则可帮助您处理,解析和重构日志数据,以准备监视和分析。

创建规则组

要在 IBM® Cloud Logs UI 中创建规则组,请单击 数据管道 图标 数据管道图标 > 解析规则 ,然后单击 新建规则组 或选择其中一个快速规则创建选项。

规则组定义具有多个部分。 完成以下步骤创建规则组:

  1. 详细信息 部分中,输入 规则组名称规则组描述

    每个组都有一个名称,并且可以具有可选描述。

  2. 规则匹配器 部分中,配置应用程序,子系统和严重性,这些应用程序,子系统和严重性用于定义要应用规则组中包含的规则的日志。

    规则匹配器 部分定义查询。 只有与规则匹配器查询匹配的日志才由组处理。 此匹配对于确保仅期望的日志通过组规则并出于性能原因非常重要。

    通过选择一组应用程序,子系统和严重性来定义规则匹配器查询。 该组仅处理与查询的所有组件匹配的日志。 该部分中的所有条目都是可选的。 如果不选择字段或定义RegEx,规则组将在所有日志上运行。

  3. 规则 部分中,配置要对数据应用的规则序列。

    规则的顺序很重要,因为它会影响最终结果。

    规则选项包括:

    • 解析规则: 用于将非结构化文本转换为 JSON 的规则。

    • 抽取: 用于抽取您需要的特定值作为 JSON 键的规则,而不必解析整个日志。

    • 抽取 JSON: 用于将 JSON 键的值抽取到元数据字段中的规则。

    • 替换: 用于修订日志结构,更改日志严重性或模糊信息的规则。

    • 块: 使用 RegEx 表达式过滤出入局日志的规则。

    • 时间戳记抽取: 用于将日志时间戳记替换为日志记录中包含的时间戳记的规则。

    • 字符串化 JSON 字段: 通过将 JSON 对象转换为字符串化 JSON 字段来减少索引字段数量的规则。

    • 解析 JSON 字段: 用于将转义日志或字符串化日志转换为 JSON 格式的规则。

    创建规则时,可以使用样本日志区域来验证规则。 创建或粘贴登录到此区域,并向您显示处理日志的规则的结果。

更改规则组的执行顺序

您可以更改规则组的顺序。 您可以通过拖动它们以在列表中对它们进行重新排序来更改它们的顺序。

删除规则组

要删除规则组,请单击该组,然后单击 DELETE RULE GROUP

编辑规则组

要编辑规则组,请单击该组,进行更改,然后单击 保存更改

将多个 1 规则添加到规则组

创建规则组后,可以向规则组添加更多规则。

完成以下步骤向规则组添加更多规则:

  1. 选择规则组。 然后,选择添加规则

  2. 选择现有规则与新规则之间的逻辑关系。 您可以使用 AND/OR 逻辑。

    例如:

    Rule-1 AND Rule-2 表示日志始终由这两个规则处理。

    Rule-1 OR Rule-2 表示日志由 Rule-1 或 Rule-2处理,以先匹配者为准,如果两者都与日志不匹配,那么两者都不匹配。 换言之,如果 Rule-1 与日志匹配,那么不会将 Rule-2 应用于该日志。

更改规则组中规则的执行顺序

您可以通过将规则拖到相对于其他规则的新位置来更改规则组中规则的执行顺序。

规则的执行顺序

在采集日志时,将从顶部开始按顺序应用规则组。

在规则组中:

  1. 首先应用规则组匹配器查询。

    只有与配置的应用程序,子系统和严重性匹配的日志才会继续应用解析规则。

  2. 然后根据解析规则用户界面的定义,自上而下地应用解析规则。 如果需要在其他规则之前应用某个规则,您可以将其拖放到不同的位置。

    • 规则组中的规则从列表中的第一条规则应用到列表中的最后一条规则。

    • 您可以通过选择 ANDOR 条件,将规则组合到一个规则组中。 当您选择 AND 时,如果正则表达式适用于该日志行,则将尝试并应用所有规则。 当您选择 OR 时,只要有一条规则与日志行匹配,其余规则就不会再应用。

    组中的 ORAND 运算符不遵循运算的数学顺序。

    将立即应用规则,以使一个规则的输出成为下一个规则的输入。

规则组和规则的执行顺序非常重要,它决定了最终日志的结构。

将块规则放在首位,并在可能的情况下使用规则匹配器,以防止对日志进行不必要的处理并加快数据处理速度。

例如,考虑以下两个用于解析 Heroku Postgres 日志的规则:

跟随者日志在末尾具有以下条目: follower_lag_commits。 此条目意味着引导者规则将捕获这两个日志,因为它的限制较小,并且所有其他字段都匹配。 跟随者仅与跟随者日志匹配 (在跟随者示例中不会捕获第一个测试字符串,因为它没有附加条目)。 将首先运行跟随者规则。

打开或关闭规则组

您可以使用与规则组关联的切换开关将规则组设置为活动或不活动。