Intégration de IBM Cloud Logs avec Event Streams

Vous pouvez utiliser IBM® Event Streams for IBM Cloud® avec IBM Cloud Logs pour diffuser et gérer les données de journalisation. IBM® Event Streams for IBM Cloud® est un service Apache Kafka évolutif et géré qui permet aux applications d'envoyer des données en créant des messages et en les envoyant à un sujet. Les applications peuvent s'abonner à ces thèmes pour recevoir des messages, ce qui permet de traiter et d'analyser les données en temps réel.

Lorsque vous mettez à jour la configuration de la diffusion en continu après l'avoir activée, les modifications sont prises en compte automatiquement. L'application des modifications prend quelques minutes.

Configuration requise

  • Une instance IBM® Event Streams for IBM Cloud® est provisionnée dans le même compte que l'instance IBM Cloud Logs à partir de laquelle vous prévoyez de diffuser des données.

    Vérifiez les limitations des plans de service. Pour plus d'informations, voir Limites et quotas.

  • Vous avez le droit de créer un sujet dans l'instance IBM® Event Streams for IBM Cloud®.

    Pour créer une rubrique dans Event Streams, vous devez avoir le rôle de gestionnaire pour l'instance Event Streams. Ce rôle comprend le rôle d'action messagehub.topic.manage IAM qui permet à une application ou à un utilisateur de créer ou de supprimer des rubriques.

  • Vous avez le droit de configurer la diffusion en continu dans votre instance IBM® Cloud Logs.

    Vous devez avoir le rôle de service manager.

Créer l'autorisation de service à service

Les autorisations d'envoi de données d'une instance IBM® Cloud Logs vers un sujet défini dans une instance Event Streams se font en configurant une autorisation de service à service dans IAM dans IBM Cloud.

Pour configurer l'autorisation de service à service, voir Création d'une autorisation S2S pour travailler avec le service Event Streams.

Créer une rubrique

Dans votre instance IBM® Event Streams for IBM Cloud®, vous devez définir un thème dans lequel l'instance IBM Cloud Logs diffuse des données.

Suivez les étapes suivantes pour créer une rubrique Event Streams:

  1. Cliquez sur l'icône Menu Icône de menu > Liste de ressources.

  2. Recherchez l'instance Event Streams que vous prévoyez d'utiliser, puis sélectionnez-la.

  3. Dans la console d'instance Event Streams, cliquez sur Topics.

  4. Cliquez sur Créer une rubrique.

  5. Entrez un nom de rubrique et cliquez sur Suivant.

  6. Entrez le nombre de partitions et cliquez sur Suivant.

    Une rubrique est constituée d'une ou de plusieurs partitions. Une partition est une liste ordonnée de messages. Les partitions sont réparties entre les courtiers afin d'améliorer l'évolutivité de votre rubrique. Vous pouvez également les utiliser pour distribuer des messages aux membres d'un groupe d'usagers.

  7. Sélectionnez une rétention de message.

    La Conservation des messages définit la durée de conservation des messages avant leur suppression. Si vos messages ne sont pas lus par un utilisateur pendant cette période, ils ne seront pas pris en compte.

  8. Cliquez sur Créer un sujet.

Configuration de la diffusion en continu

Configurez votre instance IBM Cloud Logs pour diffuser les données vers un sujet dans votre instance IBM® Event Streams for IBM Cloud®.

Procédez comme suit :

  1. Connectez-vous à votre compte IBM Cloud.

  2. Accédez à votre instance IBM Cloud Logs

  3. Cliquez sur l'icône Data pipeline Icône Data pipeline > Streams.

  4. Cliquez sur + Add stream.

  5. Configurer le flux :

    • Pour Nom du flux, entrez un nom de votre choix.

    • Pour Stream Url, entrez la liste Bootstrap server. Suivez les étapes suivantes pour obtenir la liste :

      Cliquez sur l'icône Menu Icône de menu > Liste de ressources.

      Recherchez l'instance Event Streams que vous prévoyez d'utiliser, puis sélectionnez-la.

      Sélectionnez Sujets. Ensuite, cliquez sur Connecter à cette rubrique

      Dans la section Ressources, faites une copie de la liste Bootstrap server fournie.

      connect-to-service-page
      Dialogue de connexion

    • Pour Nom du sujet, entrez le nom de votre IBM® Event Streams for IBM Cloud® sujet.

    • Pour limiter les données qui seront envoyées au sujet, saisissez une requête correspondant aux journaux que vous souhaitez envoyer. Exemple: $m.severity == ERROR

      Pour plus d'informations sur la définition des règles de données, voir Configuration des règles de flux de données.

L'image suivante montre un exemple de configuration :

add-streams
Exemple de configuration de flux

Valider la configuration

Validez que vous pouvez diffuser un échantillon de ligne de journal de test vers le sujet avant de commencer la diffusion.

Procédez comme suit :

  1. Utilisez un outil Kafka pour vous connecter en toute sécurité à l'instance IBM® Event Streams for IBM Cloud®. Par exemple, vous pouvez utiliser Use Kafka Connect ou ksqlDB.

  2. Envoyez un échantillon de journal pour vérifier la connexion.

    Cliquez sur Envoyer un échantillon de journal pour tester la connexion. Vous devriez voir le message d'exemple dans votre console au bout d'une minute.

Démarrer la diffusion en continu

Après avoir vérifié que le journal des échantillons a bien été reçu, activez la configuration de la diffusion en continu et cliquez sur Créer un flux.

Il faut quelques minutes pour qu'une configuration de diffusion en continu commence à être diffusée une fois qu'elle a été activée.

Votre IBM® Event Streams for IBM Cloud® filtrera et recevra désormais les messages en fonction de la requête spécifiée.