整合 IBM Cloud Logs 與 Event Streams

您可以將IBM® Event Streams for IBM Cloud®與IBM Cloud Logs結合使用來串流傳輸和管理日誌資料。IBM® Event Streams for IBM Cloud®是一項可擴展的託管Apache Kafka服務,允許應用程式透過建立訊息並將其發送到主題來傳送資料。 應用程式可以訂閱這些主題來接收訊息,從而實現即時數據處理和分析。

當您在啟用串流配置後更新它時,系統會自動選擇變更。 應用更改需要幾分鐘的時間。

先決條件

  • IBM® Event Streams for IBM Cloud®實例與您計劃從中傳輸資料的IBM Cloud Logs實例在同一帳戶中進行設定。

    檢查服務計劃的限制。 有關詳細信息,請參閱 限制和配額。

  • 您有權利在IBM® Event Streams for IBM Cloud®實例中建立主題。

    要在Event Streams中建立主題,您必須具有Event Streams實例的管理員角色。 此角色包括 messagehub.topic.manage IAM 操作角色,該角色允許應用程式或使用者建立或刪除主題。

  • 您有權利在IBM® Cloud Logs實例中配置串流傳輸。

    您必須擁有管理員服務角色。

建立服務到服務授權

將資料從IBM® Cloud Logs實例傳送到Event Streams實例中定義的主題的授權權限是透過在 IAM 中將服務配置為服務授權來完成的在IBM Cloud中。

若要將服務設定為服務授權,請參閱 建立S2S授權以使用Event Streams服務。

建立主題

在您的IBM® Event Streams for IBM Cloud®實例中,您必須定義一個主題,其中IBM Cloud Logs實例串流傳輸資料。

完成下列步驟以建立 Event Streams 主題:

  1. 按一下功能表圖示功能表圖示 > 資源清單。

  2. 尋找您計劃使用的Event Streams實例,然後選擇它。

  3. 在Event Streams實例控制台中,點選主題。

  4. 點選建立主題。

  5. 輸入主題名稱並按一下 “下一步”。

  6. 輸入分區數,然後按一下 「下一步」。

    主題由一個以上分割區構成。 分割區是訊息的排序清單。 分割區分佈在分配管理系統之間,以提高主題的可調整性。 您也可以使用這些分割區,在消費者群組的成員之間配送訊息。

  7. 選擇訊息保留。

    訊息保留時間定義訊息被刪除前的保留時間。 如果消耗者未在此時間內讀取訊息,則會遺失這些訊息。

  8. 點選建立主題。

配置串流媒體

配置您的IBM Cloud Logs實例以將資料流式傳輸到IBM® Event Streams for IBM Cloud®實例中的主題。

請完成下列步驟:

  1. 登入您的IBM Cloud帳戶。

  2. 存取您的IBM Cloud Logs實例

  3. 點選資料管道圖示資料管道圖示>流。

  4. 點選 + 新增流。

  5. 配置流程:

    • 對於串流名稱,輸入您選擇的名稱。

    • 對於 Stream Url,輸入_Bootstrap 伺服器_清單。 完成下列步驟以取得清單:

      按一下功能表圖示功能表圖示 > 資源清單。

      尋找您計劃使用的Event Streams實例,然後選擇它。

      選擇主題。 然後,按一下連接到該主題

      在 「資源」 部分中,複製提供的_Bootstrap 伺服器_清單。

      連線到服務頁面
      連線對話框

    • 對於主題名稱,輸入您的IBM® Event Streams for IBM Cloud®主題的名稱。

    • 若要限制將傳送到主題的數據,請輸入與您要傳送的日誌相符的查詢。 例如: $m.severity == ERROR

      有關如何定義資料規則的詳細信息,請參閱 配置流程資料規則。

下圖顯示了範例配置:

新增流
流配置範例

驗證配置

在開始串流之前,請先驗證您是否可以將範例測試日誌行串流傳輸到主題。

請完成下列步驟:

  1. 使用Kafka工具安全連線到IBM® Event Streams for IBM Cloud®實例。 例如,您可以使用 Use Kafka Connect 或ksqlDB。

  2. 發送範例日誌以驗證連線。

    按一下傳送範例日誌以測試連線。 一分鐘內您應該會在控制台中看到範例訊息。

開始串流

驗證成功接收範例日誌後,將流配置設定為活動並按一下建立流。

啟用配置後,串流配置需要幾分鐘才能開始串流。

您的IBM® Event Streams for IBM Cloud®現在將根據指定的查詢過濾和接收訊息。