特性
IBM® Cloud Logs 是 IBM Cloud 中的可觀察性服務,旨在協助組織即時和長期監控、排除故障、分析應用程式和基礎結構的效能,並發出警示。 透過收集和分析來自雲端原生應用程式、伺服器、資料庫和其他 IT 系統的日誌,IBM Cloud Logs 可針對系統行為提供可行的深入分析,協助 SRE 和開發團隊快速識別和解決問題。 透過 IBM Cloud Logs,您可以監控在 IBM Cloud、內部部署以及其他雲端供應商產生的作業資料。 您也可以監控 IBM Cloud 中產生的安全資料。
隨著工作量產生大量可觀察資料,收集工具處理所有資料的壓力越來越大。 資料管理變得昂貴,且更難以取得可據以行動的洞察。 要進行快速、有效且具成本效益的作業和效能管理,會比較困難。
IBM Cloud Logs 旨在協助使用者控制其觀察資料並加快見解速度,以減少應用程式關閉時間。
IBM Cloud Logs 支援與 IBM Cloud、內部部署及其他雲端(包括 VPC、IBM Cloud Kubernetes Service 及 Red Hat OpenShift on IBM Cloud )上的常見工作負載環境整合。 也支援與非編排環境(例如Linux和 Windows)整合。
透過 IBM Cloud Logs,您可以將 IBM Cloud 平台日誌資料、IBM Cloud 活動追蹤事件 和 作業日誌資料,傳送至服務中,讓您彈性處理資料。 日誌和事件資料可傳送至單獨的 IBM Cloud Logs 實體,或合併至單一實體,以擴大可觀察性的洞察力。
IBM Cloud Logs 會處理送入的資料並套用機器學習演算法,包括日誌聚集和異常偵測。 此處理程序可協助您聚焦於問題的主要原因。
IBM Cloud Logs 提供以下功能:
- 收集資料進行集中儲存和分析
- 優化價值和控制您的可觀察性預算
- 遵守法規和安全規定
- 預測異常行為,及時偵測異常狀況
- 從日誌產生指標,以加強可觀察性
- 重組資料以進行分析和故障排除
- 利用上下文資訊豐富遙測資料,以增強分析能力
- 將日誌存檔以作長期儲存
- 查詢資料以獲得故障排除和分析的洞察力
- 提高作業能見度以獲得洞察力,從而進行更好的分析
- 通報問題以提高警覺並迅速採取行動
- 事件管理控制
- 與其他應用程式整合
讓我們來探索這些功能。
收集資料進行集中儲存和分析
在 IBM Cloud Logs 中,您可以收集在 IBM Cloud、內部部署以及其他雲提供商產生的遙測資料。
IBM Cloud Logs 與常用的記錄框架和函式庫整合,讓您輕鬆將資料傳輸至 IBM Cloud Logs,進行集中儲存和分析。
最佳化價值並控制觀察預算
並非所有資料的價值都相同。IBM Cloud Logs 可透過使用 TCO 優化器,協助優化您所保留資料的價值。
當您檢閱觀察需求及預算時,您可以從三層日誌及事件處理中選取:
-
儲存及搜尋:主要為符合規定義務而保留的資料,可以較低的成本/GB 儲存與必要的搜尋。
-
分析及警示: 以中層成本 /GB 處理具有分析和警示值的日誌和事件資料。 中層包括從日誌新增度量值的定義,容許將趨勢視覺化並準備快速處理未來發生事件。
-
優先洞察: 選取並配置作業的最重要及最高值資料,以取得優先順序查詢結果。 此層級中的資料會保留在熱儲存體中。
在 TCO 最佳化器中,您可以設定政策,定義哪個資料管道在擷取後處理資料。 在資料儲存或編制索引之前先進行資料優先排序,可降低監控成本,同時提高系統的可視性。
如需詳細資訊,請參閱 控制成本、TCO Optimizer 和 資料使用量。
遵守法規和安全規定
資料安全性與合規性是 IBM Cloud Logs 的首要任務。
IBM Cloud Logs 提供休息和傳輸中的加密、存取控制,並遵守業界標準的安全實務。
IBM Cloud Logs 透過提供資料匿名化和稽核記錄等功能,協助企業符合 GDPR 和 HIPAA 等標準、合規要求和法規。
預測異常行為,及時偵測異常狀況
在 IBM Cloud Logs 中,您可以透過設定異常偵測警示來偵測異常行為,該警示使用人工智慧演算法來分析傳入的日誌,並預測其 24 小時內的預期行為。
舉例來說,您可能想要偵測與不良 API 回應有關的錯誤上升趨勢,這些錯誤會造成記錄激增,並顯示有不尋常的事情正在發生。 發現交易的回應時間是否超出其慣常的持續時間,讓您可以找出並解決效能瓶頸。 或者,在您的環境中檢測到由於主機的外向流量超出其通常水平而導致的意外日誌峰值,這可能表明正在發生潛在的安全漏洞。
從日誌產生指標,以加強可觀察性
在 IBM Cloud Logs 中,您可以使用 Event2metrics 功能提高可觀察性,以識別性能問題、監控系統的可靠性或排除故障。
例如,您可以使用基於日誌的指標來監控頁面載入時間、進程持續時間或計算包含特定錯誤代碼的日誌項目數量。
隨著資料的擷取,度量資料會從您的日誌中衍生出來,並轉換為 Prometheus 度量資料。 您可以使用儀表板將您的指標視覺化。 可設定警示以通知意外行為。
當您在不同的資料來源上搜尋時,使用從日誌資料產生的度量值是快速查看大量資料的好方法。
如需詳細資訊,請參閱 設定從日誌收集指標。
重組資料以進行分析和故障排除
您可以使用解析規則來重組和解析日誌資料,以協助處理並增加資料的價值。
IBM Cloud Logs 剖析工具可協助您評估資料是否必要或備援。 重組資料可協助您彙集團隊需要快速找到的不同資訊,以處理事件。
IBM Cloud Logs 是設計用來轉換日誌資料以彙總發生的情況。
如需詳細資訊,請參閱 解析規則。
利用上下文資訊豐富遙測資料,以增強分析能力
在 IBM Cloud Logs 中,您可以使用更多內容來豐富您的日誌資料。 您可以使用自己的預先定義自訂資料來源,根據日誌資料中的特定相符項自動將欄位新增至 JSON 日誌。 這樣,您可以使用在執行時期無法使用的商業、作業或安全資訊來加強日誌資料。 增強的遙測資料對於有效的故障排除、根本原因分析和效能最佳化而言,更有意義、更可操作。
如需詳細資訊,請參閱 豐富資料。
將日誌存檔以作長期儲存
在 IBM Cloud Logs 中,您可以在 IBM Cloud Object Storage 中設定資料桶和度量值桶,以便長期儲存和搜尋日誌與度量值。 從歸檔中重新索引日誌不需要探索和查詢歸檔資料。 您可以使用最初用來監控資料的相同查詢和儀表板。
在 TCO 最佳化器中,您可以設定政策,定義哪個資料管道在擷取後處理資料。 對於透過 分析及警示 或 儲存及搜尋 管道處理的資料,資料只會傳送至資料桶。 您選擇在所有 TCO 資料管道中儲存以供搜尋的所有資料,都會儲存在資料和度量標準桶中。
資料會在應用豐富政策和解析規則後儲存。 長期儲存中的資料包括您選擇新增的上下文資訊,以及應用於加強監控、分析和故障排除的任何額外重整記錄資料。
如需詳細資訊,請參閱 為長期儲存和搜尋配置儲存桶。
查詢資料以獲得故障排除和分析的洞察力
使用 IBM Cloud Logs,您可以搜尋並輕鬆查詢 IBM Cloud Logs所保留的所有資料。
資料以對搜尋友善的格式儲存在 IBM Cloud Object Storage 中。 當需要快速搜尋結果時,資料也可以儲存在熱儲存體中,以優先洞察資料。 熱儲存體和儲存區的查詢結果可以顯示在相同的儀表板和視圖中。
IBM Cloud Logs 提供多個工具來有效地查詢資料:
- 簡單的布林搜尋。
- 正規表達式 ( RegEx 查詢) 可匹配日誌中的模式。
- 查詢基於 Apache Lucene 的關鍵值查詢。
- 基於 IBM Cloud Logs DataPrime 語言的查詢。 Dataprime 是用來描述事件轉換和聚集的查詢語法。 您可以使用 DataPrime 來探索資料、進行模式讀取轉換、分組和匯總欄位、擷取資料等。
- Prometheus 查詢語言 ( PromQL ) 來選擇和彙總從您的日誌得出的時間序列資料。
提示說明可用來建構複雜分析的查詢。
如需詳細資訊,請參閱 查詢資料。
提高作業能見度以獲得洞察力,從而進行更好的分析
在 IBM Cloud Logs 中,您可以透過設定儀表板來提高作業能見度,以獲得洞察力,從而對組織的環境和應用程式進行更好的分析、故障排除和決策。
您可以針對特定的可觀察性需求,建立無限制、個人化的自訂儀表板,或利用預先建立的儀表板來幫助您分析和視覺化日誌資料。
儀表板洞察力搭配 IBM Cloud Logs 機器學習分析,讓 SRE 有能力在事件變成重大問題之前,迅速識別事件的起始點。
如需詳細資訊,請參閱 儀表板。
預先設定的警報和儀表板可作為常見應用環境的擴充,並可根據您特定的環境需求量身打造。 如需詳細資訊,請參閱 擴充套件。
通知有關問題,以提高警覺並迅速採取行動
您可以設定警示,透過主動通知您的方式,在使用者注意到問題之前偵測並加以處理。
可以配置更準確的警示規則,以減少分類時間。 範例包括:
-
在已定義的準則集內發生警示事件組合時通知。
-
當偵測到新的錯誤或日誌類型,或已建立資料上發生異常值時接收警示。
如需詳細資訊,請參閱 警報。
事件管理控制
IBM Cloud Logs 提供警示事件管理控制。 此控制項可協助管理工作量及綜合性環境的作業,具有可在工具內管理的維護時間範圍。 當複式發生事件觸發多個警示時,使用者可以在 IBM Cloud Logs內快速查看狀況。 在 IBM Cloud Logs 內配置的警示管理可以暫停其他警示管理解決方案的不必要警示。
如需詳細資訊,請參閱 IBM Cloud Logs 中的管理觸發的警示。
與其他應用程式整合
IBM Cloud Logs 的設計可與最常見的應用程式和系統管理工具整合,並適用於大多數的工具鏈。 透過設計內建與其他作業工具共用資料:
-
透過在警示訊息內使用 Webhook 值來與警示管理工具整合,以便在警示中包含資訊。 此資訊可用來快速識別觸發警示的來源。
-
與 IBM Cloud Event Notifications 服務共用警示資料,以取得綜合性 IBM Cloud 警示管理可見性及控制。
-
與 PagerDuty 及其他特殊化警示管理工具共用警示資料。
-
與其他可觀察性、SIEM 及資料分析工具整合。IBM Cloud Logs 可以將資料傳送至 IBM® Event Streams for IBM Cloud®,這是一種 Kafka 服務實作,可在其中與各種工具及應用程式共用資料。
如需使用 IBM Cloud Event Notifications 進行整合的詳細資訊,請參閱使用 警示。 有關使用 IBM® Event Streams for IBM Cloud® 進行串流的詳細資訊,請參閱 串流資料