Integración de IBM Cloud Logs con Event Streams

Puede utilizar IBM® Event Streams for IBM Cloud® con IBM Cloud Logs para transmitir y gestionar datos de registro. IBM® Event Streams for IBM Cloud® es un servicio Apache Kafka escalable y gestionado que permite a las aplicaciones enviar datos creando mensajes y enviándolos a un tema. Las aplicaciones pueden suscribirse a estos temas para recibir mensajes, lo que permite procesar y analizar datos en tiempo real.

Cuando se actualiza la configuración de streaming después de activarla, los cambios se recogen automáticamente. Los cambios tardan unos minutos en aplicarse.

Requisitos previos

  • Se aprovisiona una instancia IBM® Event Streams for IBM Cloud® en la misma cuenta que la instancia IBM Cloud Logs desde la que planea transmitir datos.

    Compruebe las limitaciones de los planes de servicio. Para obtener más información, consulte Límites y cuotas.

  • Tienes permisos para crear un tema en la instancia IBM® Event Streams for IBM Cloud®.

    Para crear un tema en Event Streams, debe tener el rol de administrador para la instancia Event Streams. Este rol incluye el rol messagehub.topic.manage Rol de acción de IAM que permite a una aplicación o usuario crear o eliminar temas.

  • Tiene permisos para configurar el streaming en su instancia IBM® Cloud Logs.

    Debe tener el rol de administrador del servicio.

Crear la autorización de servicio a servicio

Los permisos de autorización para enviar datos desde una instancia IBM® Cloud Logs a un tema que está definido en una instancia Event Streams se realiza configurando una autorización de servicio a servicio en IAM en IBM Cloud.

Para configurar la autorización de servicio a servicio, consulte Creación de una autorización S2S para trabajar con el servicio Event Streams.

Crear un tema

En su instancia IBM® Event Streams for IBM Cloud®, debe definir un tema en el que la instancia IBM Cloud Logs transmita datos.

Complete los siguientes pasos para crear un tema Event Streams:

  1. Pulse el icono Menú Icono Menú > Lista de recursos.

  2. Busque la instancia de Event Streams que tiene previsto utilizar y selecciónela.

  3. En la consola de instancia Event Streams, haga clic en Temas.

  4. Haga clic en Crear tema.

  5. Especifique un nombre de tema y pulse Siguiente.

  6. Especifique el número de particiones y pulse Siguiente.

    Una o varias particiones componen un tema. Una partición es una lista ordenada de mensajes. Las particiones se distribuyen entre los intermediarios con el fin de aumentar la escalabilidad de su tema. También puede utilizarlas para distribuir mensajes entre los miembros de un grupo de consumidores.

  7. Seleccione una retención de mensajes.

    La retención de mensajes define durante cuánto tiempo se conservan los mensajes antes de que se supriman. Si un consumidor no lee sus mensajes durante este plazo de tiempo, se perderán.

  8. Haga clic en Crear tema.

Configurar modalidad continua

Configure su instancia IBM Cloud Logs para transmitir datos a un tema de su instancia IBM® Event Streams for IBM Cloud®.

Complete los pasossiguientes:

  1. Inicia sesión en tu cuenta IBM Cloud.

  2. Accede a tu instancia IBM Cloud Logs

  3. Haga clic en el Icono de canalización de datos Icono de canalización de datos > Corrientes.

  4. Haga clic en + Añadir flujo.

  5. Configure el flujo:

    • En Nombre del flujo, introduzca un nombre de su elección.

    • Para Stream Url, introduzca la lista Bootstrap server. Complete los siguientes pasos para obtener la lista:

      Pulse el icono Menú Icono Menú > Lista de recursos.

      Busque la instancia de Event Streams que tiene previsto utilizar y selecciónela.

      Seleccione Temas. A continuación, haz clic en Conectarse a este tema

      En la sección Recursos haga una copia de la lista Servidor Bootstrap proporcionada.

      Conectarse a la página del servicio
      Diálogo de conexión

    • En Nombre del tema, introduzca el nombre de su IBM® Event Streams for IBM Cloud® tema.

    • Para limitar los datos que se enviarán al tema, introduzca una consulta que coincida con los registros que desea enviar. Por ejemplo, $m.severity == ERROR

      Para obtener más información sobre cómo definir reglas de datos, consulte Configuración de reglas de datos de streaming.

La siguiente imagen muestra un ejemplo de configuración:

add-streams
Ejemplo de configuración de stream

Validar la configuración

Compruebe que puede transmitir una línea de registro de prueba de muestra al tema antes de iniciar la transmisión.

Complete los pasossiguientes:

  1. Utilice una herramienta Kafka para conectarse de forma segura a la instancia IBM® Event Streams for IBM Cloud®. Por ejemplo, puede utilizar Use Kafka Connect o ksqlDB.

  2. Envíe un registro de muestra para verificar la conexión.

    Haga clic en Enviar registro de muestra para probar la conexión. Debería ver el mensaje de ejemplo en su consola en menos de un minuto.

Iniciar modalidad continua

Después de verificar que el registro de muestra se ha recibido correctamente, establezca la configuración de streaming como activa y haga clic en Crear stream.

Una vez activada la configuración de streaming, ésta tarda unos minutos en empezar a transmitir.

Tu IBM® Event Streams for IBM Cloud® ahora filtrará y recibirá mensajes según la consulta especificada.