控制成本

開始使用 IBM® Cloud Logs 之後，您可能會發現需要調整 IBM Cloud Logs 處理資料的方式，以控制成本。

您可以設定 IBM Cloud Logs 或調整 IBM Cloud Logs 擷取的資料，以控制使用成本。

選擇最佳服務計劃

檢視可用的 服務計劃和定價。 您計劃儲存資料的 資料管道 成本會影響您的總成本。

此外，請考慮您需要保留資料多久才能在 優先洞察 中快速搜尋。 您可以設定 IBM Cloud Logs 範例，將資料保存在 優先洞察 中的時間較短。

資料是以每 GB 擷取的服務計費。 您可以設定 資料使用量指標，以監控您的資料使用量。 資料使用度量需要您設定一個 度量資料桶。

配置 TCO 優化器

預設情況下，當建立 IBM Cloud Logs 範例時，所有資料都會流入 優先洞察 資料管道。 雖然此管道提供您最快的搜尋速度，但卻是成本最高的管道。

為了控制成本，您想要最佳化傳送資料的管道。

透過根據資料對業務的重要性來定義資料管道，TCO Optimizer 可協助您改善即時分析和警示，並協助您管理成本。

有關配置 TCO 優化器的資訊，請參閱 配置 TCO 優化器。

使用 TCO 政策

日誌與管道的關聯方式由 政策 決定。 在擷取記錄時，會對應用程式、子系統和記錄嚴重性的組合應用政策。 日誌會根據政策內容指派到適當的 TCO 管道。

您必須先設定 IBM Cloud Object Storage 資料桶，才能建立政策。

瞭解資料擷取

要瞭解使用 IBM Cloud Logs 時如何控制成本，您需要瞭解服務如何擷取資料。

IBM Cloud Logs 從多個來源擷取資料，並以特定順序處理資料：

  1. 日誌由來源傳送。

    • 操作日誌使用代理程式或 API REST 呼叫傳送。
    • 平台日誌和活動追蹤事件透過 IBM Cloud 傳送。

  2. IBM Cloud Logs 擷取（接收）資料。

  3. IBM Cloud Logs 解析規則應用於擷取的資料。

  4. 應用 TCO 政策，並根據政策將資料分配至適當的 資料管道，或將其丟棄。

解析規則和 TCO 政策一經套用，即視為已為計費目的擷取記錄。 在傳送至資料管道前被攔截的日誌不會產生費用，這些日誌也不會被保留。

控制擷取的資料

除了控制 IBM Cloud Logs 中保存資料的資料管道外，您還可以控制 IBM Cloud Logs 擷取的資料。

使用解析規則

您可以使用區塊解析規則，根據 RegEx 表達式篩選出傳入的日誌。 如需設定封鎖解析規則的詳細資訊，請參閱 封鎖記錄資料。

您並不受限於封鎖完整的日誌行。 您可以使用解析規則移除日誌行中不需要的欄位。 如需移除欄位的相關資訊，請參閱 使用 Remove fields rule（移除欄位規則）從日誌中移除欄位。

篩選和重組經由 記載代理程式

如果您使用 記載代理程式 將作業日誌傳送至 IBM Cloud Logs，您可以解析並重組日誌資料，以達到一致性，並移除 IBM Cloud Logs 中可能不需要的資料。

確保記錄資料結構良好

修改日誌資料時，您需要確保傳送至 IBM Cloud Logs 的資料格式良好，以便 IBM Cloud Logs 能正確處理資料。

  • 日誌應以 JSON 格式傳送，或使用 記載代理程式 的過濾器將內容轉換成 JSON 格式。

  • 由於 TCO 政策使用日誌資料中的嚴重性資訊將日誌指派給適當的資料管道，因此為了一致的指派，最好確保日誌資料包含適當的 level、loglevel 或 severity 值，而不是讓 記載代理程式 或 IBM Cloud Logs 暗示嚴重性。

  • 對於來自非 Kubernetes 來源的日誌，日誌行需要包含 application 和 subsystemName 欄位。 這些欄位也會被 TCO 處理使用。

  • 日誌也應包含 UTC 格式的時間戳記。 另外，也可以設定 記載代理程式 在傳送記錄前偏移時間戳記。 請參閱 Fluent Bit 文件中關於 Time_Offset 和 Time_System_Timezone 的資訊。

  • 在搜尋中會經常使用的欄位 (例如 http_error_code)，應該 抽取成獨立的鍵，而不是包含在日誌行中。