IBM Cloud Logs 日誌剖析規則

您可以使用解析規則來處理、解析和重整日誌資料，為監控和分析做好準備。 例如，您可以擷取選取的資訊、將非結構化的日誌結構化，或捨棄日誌中不必要的部分。 您可以基於相符性原因來遮罩欄位，並修正錯誤格式化的日誌。 您可以根據日誌內容阻止擷取日誌資料，還有更多。

在 IBM® Cloud Logs中，在 OpenSearch中檢索資料之前，您可以使用剖析規則來控制資料的結構。

規則群組

剖析規則組織在 規則群組內。 每一個群組都有一個名稱及一組規則，它們之間具有邏輯關係。 會根據規則群組的順序 (從開始到結束) 來處理日誌。 然後由規則群組內的規則順序，並根據它們之間的邏輯運算子 (AND/OR) 來處理它們。規則可協助您處理、剖析及重組日誌資料，以準備監視及分析。 如需相關資訊，請參閱 使用規則群組。

規則類型

您可以配置下列剖析規則:

  • 剖析 剖析規則圖示: 將非結構化文字轉換成 JSON 格式。

  • 擷取 擷取剖析規則圖示: 將值擷取為 JSON 索引鍵，而不剖析整個日誌。

  • 擷取 JSONJSON 擷取剖析規則圖示: 將 JSON 索引鍵的值擷取至 meta 資料欄位。

  • 取代 取代剖析規則圖示: 將欄位值取代為固定字串值，以修正日誌結構、變更日誌嚴重性或模糊化資訊。

  • 區塊 區塊剖析規則圖示: 使用正規表示式來捨棄送入日誌。

  • 時間戳記擷取 時間戳記剖析規則圖示: 將日誌時間戳記取代為日誌中包含的時間戳記。

  • 移除欄位 移除剖析規則圖示: 移除日誌中的 JSON 欄位，以減少索引欄位的數目。

  • 字串化 JSON 欄位 JSON 字串化剖析規則圖示: 將 JSON 欄位轉換成字串化 JSON 欄位以減少索引欄位數。

  • 剖析 JSON 欄位 剖析規則圖示: 將跳出或字串化欄位轉換為 JSON 格式。

變更原始日誌的規則

這些規則會修改原始日誌行。

  • 剖析
  • 擷取時間戳記
  • 取代
  • 剖析 JSON 欄位

將更多欄位新增至原始日誌的規則

這些規則會在維護原始日誌資料時，將欄位新增至日誌行。

  • 擷取 JSON
  • 擷取

捨棄資料的規則

這些規則會從日誌行移除資料。

  • 區塊
  • 移除
  • 字串化 JSON 欄位 (是否可以保留原始日誌)

規則執行順序

汲取日誌時，會從第一個配置的規則開始依序套用規則群組。

請先指定封鎖規則，並在可能時使用規則比對器，以防止不必要的日誌處理並加快資料處理速度。

在規則群組內:

  1. 會先套用規則群組比對器查詢。

    只有符合所配置應用程式、子系統及嚴重性的日誌才會繼續套用剖析規則。

  2. 從第一個規則開始依序套用規則，直到規則後面接著 OR 邏輯運算子為止。

    會立即套用規則，以便一個規則的輸出變成下一個規則的輸入。

    群組中的 OR 和 AND 運算子不遵循運算的數學順序。

規則群組和規則的執行順序很重要，並定義最終日誌的結構。