用於將資料傳送到IBM Cloud Logs實例的輸出插件參數
您可以用來設定輸出外掛程式的參數清單,以便將資料傳送至 記載代理程式 中的 IBM Cloud Logs 範例。
FluentBit參數
| 索引鍵 | 說明 | 預設值 | 超值選擇 | 必要 |
|---|---|---|---|---|
Name |
插件的名稱。 必須設定為 logger-icl-output-plugin |
無 | logger-icl-output-plugin |
是 |
Id |
外掛程式的唯一 ID。 | 無 | 任何字串 | 是 |
Match |
用於指定如何匹配事件。 | 無 | 任何字串 | 是 |
Retry_Limit |
如果外掛程式無法將資料傳送到 Cloud Logs,請重試處理。 如果您想永遠重試,請設定 False ,否則設定為整數值。有關如何配置重試的更多信息,請參閱 此處 |
1 | False 或 N >= 1 |
是 |
Workers |
傳送到IBM Cloud Logs的並發工作執行緒數。 為了增加傳送到IBM Cloud Logs的日誌的吞吐量,您可以增加每個代理程式發送的並發執行緒數。 其他資訊 |
1 | 1 個以上 | False |
連接參數
| 索引鍵 | 說明 | 預設值 | 超值選擇 | 必要 |
|---|---|---|---|---|
Target_Host |
提取用於連接的主機名 | 無 | 任意 URL 端點 | 是 |
Target_Port |
用於連接的攝取端口 | 443 |
任意連接埠號 | False |
Target_Path |
連線使用的 URL 路徑 | /logs/v1/singles |
任何字串 | False |
記載參數
| 索引鍵 | 說明 | 預設值 | 超值選擇 | 必要 |
|---|---|---|---|---|
Logging_Level |
指定插件中要使用的日誌級別 | info |
debuginfoerror |
False |
Package_Size |
指定包大小(以 KB 或 MB 為單位) | 2 |
任何數字後面跟著一個單位,例如 2MB、10KB。必須小於 2MB |
False |
鑑別參數
| 索引鍵 | 說明 | 預設值 | 超值選擇 | 必要 |
|---|---|---|---|---|
Authentication_Mode |
指定認證方式 | TrustedProfile |
TrustedProfileIAMAPIKey |
False |
IAM_Environment |
指定用於身份驗證的 IAM 環境 | Production |
Production指定公用端點iam.cloud.ibm.com
|
False |
IAM_Host |
自訂 IAM 環境的 IAM 主機名 | 無 | 完全限定的 IAM 主機名,例如:private.eu-de.iam.cloud.ibm.com |
僅當 IAM_Environment 設定為 Custom 時使用 |
CR_Token_Mount_Path |
CRToken 存在的路徑 | /var/run/secrets/tokens/vault-token |
任何字串 | false - 僅當 Authentication_Mode 設定為TrustedProfile時使用 |
Trusted_Profile_ID |
要使用的可信任設定檔的 ID | 無 | 任何字串 | true - 僅當 Authentication_Mode 設定為TrustedProfile時使用 |
IAM_API_key |
要使用的 api 金鑰;如需有關指定 api 金鑰的進一步資訊,請參閱下列說明 | 無 | 任何字串 | False |
當 Authentication_Mode 設定為 IAMAPIKey 時,必須以三種方式之一指定 api 金鑰。 它們的優先順序如下:
- 使用配置中的
IAM_API_key欄位- 強烈建議不要直接在設定檔中插入 api 金鑰。 相反,可以使用
${CUSTOM_ENVIRONMENT_VARIABLE}形式的值來擷取下列變數以外的環境變數
- 強烈建議不要直接在設定檔中插入 api 金鑰。 相反,可以使用
- 使用名為
IAM_API_KEY_<output_ID>- 其中
<output_ID>是Id參數中指定給輸出外掛程式的 ID,任何破折號 (-) 都由下劃線 (_) 取代
- 其中
- 使用名為
IAM_API_KEY
如果上述選項中沒有提供任何值,外掛程式的初始化將會失敗。
Fluentbit Agent Workers 設定注意事項
在記載代理程式上下文中,worker 表示可供記載代理程式處理日誌的 CPU 執行緒。
您可以在輸出插件配置中配置可用工作人員的數量。
- 在 fluid-bit 預設配置中,
Workers=1是預設配置,這適用於產生小於1MB/sec日誌量的工作負載。 - 在日誌記錄量較大(超過 1 MB/秒)的環境中,可能需要增加
Workers配置,以便輸出外掛程式能夠處理正在使用的日誌。 - Openshift 和 Kubernetes 部署的Helm圖表配置了 4 個工作線程,因為這對於大多數Kubernetes工作負載來說通常是一個很好的設定。
如果您使用 Helm 圖表,請使用 outputWorkers Helm 變數來管理輸出外掛程式的 Workers 設定。
以下是在您的環境中設定 Workers 值時的一些注意事項:
-
將工作執行緒數量從 4 個減少到 2 個可能會降低記載代理程式的 CPU 需求。
-
在Kubernetes環境中,將工作執行緒數量增加到 4 以上而不增加 CPU 限制通常不會導致記載代理程式處理更多日誌。 在某個時刻,CPU 會限制吞吐量,因此也必須增加。
-
如果您在記載代理程式日誌中看到訊息報告
[input] pausing tail後面跟著[input] resume tail則表示發送日誌的輸出外掛程式無法跟上日誌量產生的日誌。 如果 CPU 使用率未達到定義的 CPU 限制,則增加工作執行緒數量通常會增加吞吐量。 如果CPU使用率接近限制,那麼除了增加worker數量之外,您可能還需要增加CPU限制。 如果[input] pausing tail訊息每小時發出幾次就可以了。 如果此訊息每分鐘出現多次,您應該考慮更改配置。 -
如果您看到訊息
[ warn] [input:tail:tail.0] purged rotated file while data ingestion is paused, consider increasing rotate_wait,這通常表示輸入量明顯快於代理程式能夠處理的速度。 未能增加工作線程或 CPU(或兩者)的數量將導致日誌丟失,因為由於文件輪換而不再處理輪換的文件,並且攝取已暫停。 如果遇到此錯誤,您需要增加工作執行緒或 CPU 限制(或兩者)。