IBM Cloud Logs와 Event Streams 통합

IBM® Event Streams for IBM Cloud®와 IBM Cloud Logs를 함께 사용하여 로그 데이터를 스트리밍 및 관리할 수 있습니다. IBM® Event Streams for IBM Cloud®는 애플리케이션이 메시지를 생성하고 토픽에 전송하여 데이터를 보낼 수 있는 확장 가능한 관리형 Apache Kafka 서비스입니다. 애플리케이션은 이러한 주제를 구독하여 메시지를 수신함으로써 실시간 데이터 처리 및 분석이 가능합니다.

스트리밍 구성을 활성화한 후 업데이트하면 변경 사항이 자동으로 적용됩니다. 변경 사항이 적용되려면 몇 분 정도 걸립니다.

전제조건

  • IBM® Event Streams for IBM Cloud® 인스턴스는 데이터를 스트리밍하려는 IBM Cloud Logs 인스턴스와 동일한 계정에서 프로비저닝됩니다.

    서비스 플랜의 제한사항을 확인하십시오. 자세한 정보는 한계 및 할당량을 참조하십시오.

  • IBM® Event Streams for IBM Cloud® 인스턴스에서 토픽을 만들 수 있는 권한이 있습니다.

    Event Streams 에서 토픽을 만들려면 Event Streams 인스턴스에 대한 관리자 역할이 있어야 합니다. 이 역할에는 다음이 포함됩니다 messagehub.topic.manage 앱 또는 사용자가 토픽을 만들거나 삭제할 수 있는 IAM 작업 역할이 포함됩니다.

  • IBM® Cloud Logs 인스턴스에서 스트리밍을 구성할 수 있는 권한이 있습니다.

    관리자 서비스 역할이 있어야 합니다.

서비스 권한 부여를 위한 서비스 만들기

IBM® Cloud Logs 인스턴스에서 Event Streams 인스턴스에 정의된 주제로 데이터를 보내기 위한 권한은 IBM Cloud의 IAM에서 서비스 대 서비스 권한을 구성하여 수행합니다.

서비스 인증에 대한 서비스를 구성하려면 S2S 인증으로 Event Streams 서비스 만들기 를 참조하세요.

주제 작성

IBM® Event Streams for IBM Cloud® 인스턴스에서 IBM Cloud Logs 인스턴스가 데이터를 스트리밍하는 토픽을 정의해야 합니다.

Event Streams 주제를 만들려면 다음 단계를 완료하세요:

  1. 메뉴 아이콘 메뉴 아이콘 > 리소스 목록을 클릭하십시오.

  2. 사용할 Event Streams 인스턴스를 찾아 선택하십시오.

  3. Event Streams 인스턴스 콘솔에서 주제를 클릭합니다.

  4. 주제 만들기를 클릭합니다.

  5. 주제 이름을 입력하고 다음을 클릭하십시오.

  6. 파티션 수를 입력하고 다음을 클릭하십시오.

    하나 이상의 파티션이 주제를 구성합니다. 파티션은 정렬된 메시지의 목록입니다. 파티션은 주제의 확장성을 높이기 위해 브로커 전체에 분산됩니다. 또한 이를 사용하여 소비자 그룹의 구성원 간에 메시지를 배포할 수도 있습니다.

  7. 메시지 보존을 선택합니다.

    메시지 보존은 메시지가 삭제되기 전에 보유되는 기간을 정의합니다. 이용자가 이 시간 내에 메시지를 읽지 않으면 메시지가 누락됩니다.

  8. 토픽 만들기를 클릭합니다.

스트리밍 구성

IBM Cloud Logs 인스턴스에서 데이터를 스트리밍하여 IBM® Event Streams for IBM Cloud® 인스턴스에 있는 토픽으로 전송하도록 구성합니다.

다음 단계를 완료하십시오.

  1. IBM Cloud 계정으로 로그인합니다.

  2. IBM Cloud Logs 인스턴스에 액세스

  3. 데이터 파이프라인 아이콘 데이터 파이프라인 아이콘 > 스트림을 클릭합니다.

  4. + 스트림 추가를 클릭합니다.

  5. 스트림을 구성합니다:

    • 스트림 이름에 원하는 이름을 입력합니다.

    • 스트림 URL 에 부트스트랩 서버 목록을 입력합니다. 목록을 받으려면 다음 단계를 완료하세요:

      메뉴 아이콘 메뉴 아이콘 > 리소스 목록을 클릭하십시오.

      사용할 Event Streams 인스턴스를 찾아 선택하십시오.

      주제를 선택하십시오. 그런 다음 이 주제에 연결하기를 클릭합니다

      리소스 섹션에서 제공된 부트스트랩 서버 목록의 복사본을 만듭니다.

      서비스에 연결 페이지
      연결 대화 상자

    • 토픽 이름에 IBM® Event Streams for IBM Cloud® 토픽의 이름을 입력합니다.

    • 토픽으로 전송할 데이터를 제한하려면 전송하려는 로그와 일치하는 쿼리를 입력합니다. 예를 들어, 다음과 같습니다. $m.severity == ERROR

      데이터 규칙을 정의하는 방법에 대한 자세한 내용은 스트리밍 데이터 규칙 구성하기 를 참조하세요.

다음 이미지는 샘플 구성을 보여줍니다:

add-streams
스트림 구성 예시

구성 유효성 검사

스트리밍을 시작하기 전에 샘플 테스트 로그 행을 주제로 스트리밍할 수 있는지 확인합니다.

다음 단계를 완료하십시오.

  1. Kafka 도구를 사용하여 IBM® Event Streams for IBM Cloud® 인스턴스에 안전하게 연결할 수 있습니다. 예를 들어, 사용 Kafka 연결 또는 ksqlDB 를 사용할 수 있습니다.

  2. 샘플 로그를 전송하여 연결을 확인합니다.

    샘플 로그 보내기를 클릭하여 연결을 테스트합니다. 1분 이내에 콘솔에 샘플 메시지가 표시됩니다.

스트리밍 시작

샘플 로그가 성공적으로 수신되었는지 확인한 후 스트리밍 구성을 활성화로 설정하고 스트림 만들기를 클릭합니다.

스트리밍 구성을 활성화한 후 스트리밍을 시작하기까지 몇 분 정도 걸립니다.

이제 IBM® Event Streams for IBM Cloud®가 지정된 쿼리에 따라 메시지를 필터링하고 수신합니다.