用於將資料傳送到IBM Cloud Logs實例的輸出插件參數

您可以用來設定輸出外掛程式的參數清單,以便將資料傳送至 記載代理程式 中的 IBM Cloud Logs 範例。

FluentBit參數

Fluentbit 參數
索引鍵 說明 預設值 超值選擇 必要
Name 插件的名稱。 必須設定為 logger-icl-output-plugin logger-icl-output-plugin
Id 外掛程式的唯一 ID。 任何字串
Match 用於指定如何匹配事件。 任何字串
Retry_Limit 如果外掛程式無法將資料傳送到 Cloud Logs,請重試處理。
如果您想永遠重試,請設定 False ,否則設定為整數值。
有關如何配置重試的更多信息,請參閱 此處
1 False 或 N >= 1
Workers 傳送到IBM Cloud Logs的並發工作執行緒數。
為了增加傳送到IBM Cloud Logs的日誌的吞吐量,您可以增加每個代理程式發送的並發執行緒數。
其他資訊
1 1 個以上 False

連接參數

連接參數
索引鍵 說明 預設值 超值選擇 必要
Target_Host 提取用於連接的主機名 任意 URL 端點
Target_Port 用於連接的攝取端口 443 任意連接埠號 False
Target_Path 連線使用的 URL 路徑 /logs/v1/singles 任何字串 False

記載參數

記載參數
索引鍵 說明 預設值 超值選擇 必要
Logging_Level 指定插件中要使用的日誌級別 info debug
info
error
False
Package_Size 指定包大小(以 KB 或 MB 為單位) 2 任何數字後面跟著一個單位,例如 2MB10KB。必須小於 2MB False

鑑別參數

鑑別參數
索引鍵 說明 預設值 超值選擇 必要
Authentication_Mode 指定認證方式 TrustedProfile TrustedProfile
IAMAPIKey
False
IAM_Environment 指定用於身份驗證的 IAM 環境 Production Production指定公用端點iam.cloud.ibm.com

PrivateProduction指定私有端點private.iam.cloud.ibm.com

Custom指定參數IAM_Host指定的端點

False
IAM_Host 自訂 IAM 環境的 IAM 主機名 完全限定的 IAM 主機名,例如:private.eu-de.iam.cloud.ibm.com 僅當 IAM_Environment 設定為 Custom 時使用
CR_Token_Mount_Path CRToken 存在的路徑 /var/run/secrets/tokens/vault-token 任何字串 false - 僅當 Authentication_Mode 設定為TrustedProfile時使用
Trusted_Profile_ID 要使用的可信任設定檔的 ID 任何字串 true - 僅當 Authentication_Mode 設定為TrustedProfile時使用
IAM_API_key 要使用的 api 金鑰;如需有關指定 api 金鑰的進一步資訊,請參閱下列說明 任何字串 False

Authentication_Mode 設定為 IAMAPIKey 時,必須以三種方式之一指定 api 金鑰。 它們的優先順序如下:

  1. 使用配置中的 IAM_API_key 欄位
    • 強烈建議不要直接在設定檔中插入 api 金鑰。 相反,可以使用 ${CUSTOM_ENVIRONMENT_VARIABLE} 形式的值來擷取下列變數以外的環境變數
  2. 使用名為 IAM_API_KEY_<output_ID>
    • 其中 <output_ID>Id 參數中指定給輸出外掛程式的 ID,任何破折號 (-) 都由下劃線 (_) 取代
  3. 使用名為 IAM_API_KEY

如果上述選項中沒有提供任何值,外掛程式的初始化將會失敗。

Fluentbit Agent Workers 設定注意事項

在記載代理程式上下文中,worker 表示可供記載代理程式處理日誌的 CPU 執行緒。

您可以在輸出插件配置中配置可用工作人員的數量。

  • 在 fluid-bit 預設配置中,Workers=1 是預設配置,這適用於產生小於1MB/sec日誌量的工作負載。
  • 在日誌記錄量較大(超過 1 MB/秒)的環境中,可能需要增加 Workers 配置,以便輸出外掛程式能夠處理正在使用的日誌。
  • OpenshiftKubernetes 部署的Helm圖表配置了 4 個工作線程,因為這對於大多數Kubernetes工作負載來說通常是一個很好的設定。

如果您使用 Helm 圖表,請使用 outputWorkers Helm 變數來管理輸出外掛程式的 Workers 設定。

以下是在您的環境中設定 Workers 值時的一些注意事項:

  • 將工作執行緒數量從 4 個減少到 2 個可能會降低記載代理程式的 CPU 需求。

  • 在Kubernetes環境中,將工作執行緒數量增加到 4 以上而不增加 CPU 限制通常不會導致記載代理程式處理更多日誌。 在某個時刻,CPU 會限制吞吐量,因此也必須增加。

  • 如果您在記載代理程式日誌中看到訊息報告 [input] pausing tail 後面跟著 [input] resume tail 則表示發送日誌的輸出外掛程式無法跟上日誌量產生的日誌。 如果 CPU 使用率未達到定義的 CPU 限制,則增加工作執行緒數量通常會增加吞吐量。 如果CPU使用率接近限制,那麼除了增加worker數量之外,您可能還需要增加CPU限制。 如果 [input] pausing tail 訊息每小時發出幾次就可以了。 如果此訊息每分鐘出現多次,您應該考慮更改配置。

  • 如果您看到訊息 [ warn] [input:tail:tail.0] purged rotated file while data ingestion is paused, consider increasing rotate_wait,這通常表示輸入量明顯快於代理程式能夠處理的速度。 未能增加工作線程或 CPU(或兩者)的數量將導致日誌丟失,因為由於文件輪換而不再處理輪換的文件,並且攝取已暫停。 如果遇到此錯誤,您需要增加工作執行緒或 CPU 限制(或兩者)。