整合 IBM Cloud Logs 與 Event Streams
您可以將IBM® Event Streams for IBM Cloud®與IBM Cloud Logs結合使用來串流傳輸和管理日誌資料。IBM® Event Streams for IBM Cloud®是一項可擴展的託管Apache Kafka服務,允許應用程式透過建立訊息並將其發送到主題來傳送資料。 應用程式可以訂閱這些主題來接收訊息,從而實現即時數據處理和分析。
當您在啟用串流配置後更新它時,系統會自動選擇變更。 應用更改需要幾分鐘的時間。
先決條件
-
IBM® Event Streams for IBM Cloud®實例與您計劃從中傳輸資料的IBM Cloud Logs實例在同一帳戶中進行設定。
檢查服務計劃的限制。 有關詳細信息,請參閱 限制和配額。
-
您有權利在IBM® Event Streams for IBM Cloud®實例中建立主題。
要在Event Streams中建立主題,您必須具有Event Streams實例的管理員角色。 此角色包括 messagehub.topic.manage IAM 操作角色,該角色允許應用程式或使用者建立或刪除主題。
-
您有權利在IBM® Cloud Logs實例中配置串流傳輸。
您必須擁有管理員服務角色。
建立服務到服務授權
將資料從IBM® Cloud Logs實例傳送到Event Streams實例中定義的主題的授權權限是透過在 IAM 中將服務配置為服務授權來完成的在IBM Cloud中。
若要將服務設定為服務授權,請參閱 建立S2S授權以使用Event Streams服務。
建立主題
在您的IBM® Event Streams for IBM Cloud®實例中,您必須定義一個主題,其中IBM Cloud Logs實例串流傳輸資料。
完成下列步驟以建立 Event Streams 主題:
-
按一下功能表圖示
> 資源清單。
-
尋找您計劃使用的Event Streams實例,然後選擇它。
-
在Event Streams實例控制台中,點選主題。
-
點選建立主題。
-
輸入主題名稱並按一下 “下一步”。
-
輸入分區數,然後按一下 「下一步」。
主題由一個以上分割區構成。 分割區是訊息的排序清單。 分割區分佈在分配管理系統之間,以提高主題的可調整性。 您也可以使用這些分割區,在消費者群組的成員之間配送訊息。
-
選擇訊息保留。
訊息保留時間定義訊息被刪除前的保留時間。 如果消耗者未在此時間內讀取訊息,則會遺失這些訊息。
-
點選建立主題。
配置串流媒體
配置您的IBM Cloud Logs實例以將資料流式傳輸到IBM® Event Streams for IBM Cloud®實例中的主題。
請完成下列步驟:
-
點選資料管道圖示
>流。
-
點選 + 新增流。
-
配置流程:
-
對於串流名稱,輸入您選擇的名稱。
-
對於 Stream Url,輸入_Bootstrap 伺服器_清單。 完成下列步驟以取得清單:
按一下功能表圖示
> 資源清單。
尋找您計劃使用的Event Streams實例,然後選擇它。
選擇主題。 然後,按一下連接到該主題
在 「資源」 部分中,複製提供的_Bootstrap 伺服器_清單。
連線對話框 -
對於主題名稱,輸入您的IBM® Event Streams for IBM Cloud®主題的名稱。
-
若要限制將傳送到主題的數據,請輸入與您要傳送的日誌相符的查詢。 例如:
$m.severity == ERROR有關如何定義資料規則的詳細信息,請參閱 配置流程資料規則。
-
下圖顯示了範例配置:
驗證配置
在開始串流之前,請先驗證您是否可以將範例測試日誌行串流傳輸到主題。
請完成下列步驟:
-
使用Kafka工具安全連線到IBM® Event Streams for IBM Cloud®實例。 例如,您可以使用 Use Kafka Connect 或ksqlDB。
-
發送範例日誌以驗證連線。
按一下傳送範例日誌以測試連線。 一分鐘內您應該會在控制台中看到範例訊息。
開始串流
驗證成功接收範例日誌後,將流配置設定為活動並按一下建立流。
啟用配置後,串流配置需要幾分鐘才能開始串流。
您的IBM® Event Streams for IBM Cloud®現在將根據指定的查詢過濾和接收訊息。