Preguntas más frecuentes sobre Event Streams

Este documento contiene información sobre preguntas o problemas comunes que encuentran los usuarios del servicio IBM® Event Streams for IBM Cloud®. Su objetivo es responder a las preguntas o proporcionar instrucciones sobre cómo resolver problemas sin necesidad de crear una incidencia de soporte.

¿Cómo se utilizan las API de Kafka para crear y suprimir temas?

Si está utilizando un cliente Kafka de la versión 0.11 o posterior, o bien Kafka Streams versión 0.10.2.0 o posterior, puede utilizar la API para crear y suprimir temas. Existen varias restricciones para la configuración permitida al crear temas. Actualmente, solo se pueden modificar los siguientes valores:

cleanup.policy

Establecido en delete (valor predeterminado), compact o delete,compact

retention.ms

El período de retención predeterminado es de 24 horas. El valor mínimo es de 1 hora y el máximo de 30 días. Especifique este valor como múltiplo de horas.

Nota: En el plan Enterprise, puede establecer este valor en cualquier valor.

retention.bytes

El tamaño máximo que puede alcanzar una partición (que consiste en segmentos de registro) hasta que se descartan segmentos de registro antiguos para liberar espacio.

Nota: Enterprise: establézcalo en cualquier valor entre 100 KiB y 2 TiB. Standard: establézcalo en cualquier valor entre 100 KiB y 1 GiB.

segment.bytes

El tamaño del archivo de segmento para el registro.

Nota: Enterprise: establézcalo en cualquier valor entre 100 KiB y 2 TiB. Standard: establézcalo en cualquier valor entre 100 KiB y 512 MiB.

segment.index.bytes

El tamaño del índice que correlaciona desplazamientos con posiciones de archivo.

Nota: Enterprise: establézcalo en cualquier valor entre 100 KiB y 1 TiB. Standard: establézcalo en cualquier valor entre 100 KiB y 100 MiB.

segment.ms

El periodo de tiempo tras el que Kafka impondrá la acumulación del registro aunque el archivo de segmento no esté lleno.

Nota: Establézcalo en cualquier valor entre 5 minutos y 30 días.

Consulte el ejemplo siguiente de valores predeterminados.

 Details for topic testit
Topic name   Internal?   Partition count   Replication factor   
testit       false       1                 3   

Partition details for topic testit
Partition ID   Leader   Replicas   In-sync   
0              1        [1 5 0]    [1 5 0]   

Configuration parameters for topic testit
Name                  Value   
cleanup.policy        delete   
min.insync.replicas   2   
segment.bytes         536870912   
retention.ms          86400000   
segment.ms            604800000   
retention.bytes       1073741824   
segment.index.bytes   10485760

¿Durante cuánto tiempo establece Event Streams la ventana de retención de registros para el tema de desplazamientos de consumidor?

Event Streams retiene los desplazamientos de consumidor durante 7 días. Esto corresponde al valor de configuración de Kafka offsets.retention.minutes.

La retención de desplazamiento abarca todo el sistema y no se puede establecer en temas individuales. Todos los grupos de consumidores obtienen solo 7 días de desplazamientos almacenados, aunque utilicen un tema con una retención de registro que se ha aumentado al máximo de 30 días.

Puede ver el tema __consumer_offsets interno de Kafka en modalidad de solo lectura en el plan Empresa. Se recomienda encarecidamente que no intente gestionar el tema de ninguna forma. No puede acceder al tema __consumer_offsets de ninguna manera en el plan Estándar.

¿Cómo puedo limpiar un grupo de consumidores sin consumidores?

Una vez que los consumidores se hayan marchado, un grupo sigue existiendo sólo si tiene desplazamientos. Los desplazamientos de consumidor se suprimen pasados de 7 días sin actividad. En consecuencia, un grupo de consumidores se suprime cuando caduca el último desplazamiento confirmado de ese grupo.

Si desea eliminar explícitamente un grupo en un momento determinado, puede utilizar la API deleteConsumerGroups() o el comando ibmcloud es group-delete

¿Cuánto tiempo se conservan los mensajes?

De forma predeterminada, los mensajes se retienen un máximo de 24 horas en Kafka y cada partición está limitada a 1 GB. Si se alcanza 1 GB, se descartarán los mensajes más antiguos para mantenerse dentro del límite.

Puede cambiar el límite de tiempo para la retención de mensajes cuando cree un tema utilizando la interfaz de usuario o la API de administración. El límite de tiempo es un mínimo de una hora y un máximo de 30 días.

Para obtener información sobre las restricciones de los valores permitidos al crear temas utilizando un cliente Kafka o Kafka Streams, consulte ¿Cómo se utilizan las API de Kafka para crear y suprimir temas?

¿Cuál es el comportamiento de la disponibilidad de Event Streams?

Si escribe apps de Event Streams, utilice esta información para comprender cuál es el comportamiento de disponibilidad normal de Event Streams y qué se espera que gestionen las apps.

Las API

Como parte del funcionamiento normal de Event Streams, los nodos de los clústeres de Kafka se reinician ocasionalmente. En algunos casos, las apps detectarán que el clúster reasigna recursos. Escriba las apps de modo que resistan estos cambios y puedan reconectarse y reintentar operaciones.

¿Cuál es el tamaño de mensaje máximo de Event Streams?

El tamaño de mensaje máximo de Event Streams es 1 MB, que es el valor predeterminado de Kafka.

¿Cuáles son los valores de réplica de Event Streams?

Event Streams está configurado para proporcionar una fuerte disponibilidad y duración. Los siguientes valores de configuración se aplican a todos los temas y no se pueden cambiar:

  • replication.factor = 3
  • min.insync.replicas = 2

¿Cuáles son las restricciones y los valores predeterminado para temas y particiones?

  • Los nombres de temas están restringidos a un máximo de 200 caracteres.
  • El número predeterminado de particiones por tema es de uno.
  • Cada espacio de IBM Cloud tiene un límite de 100 particiones. Para crear más particiones, utilice un espacio nuevo de IBM Cloud.

¿Cómo se comprueba qué plan de Event Streams se ha suministrado?

Para confirmar qué tipo de plan de Event Streams ha suministrado (Lite, Standard o Enterprise), realice los pasos siguientes:

  1. En la consola de IBM Cloud, vaya hasta la instancia de Event Streams que desee comprobar.
  2. Pulse el separador Plan en el panel de navegación de la izquierda. En la sección Plan actual se visualiza su tipo de plan.

¿Puedo modificar mi plan de Event Streams utilizando la consola de IBM Cloud?

Sí, pero solamente si está pasando el plan Lite al plan Estándar.

  1. En la consola de IBM Cloud, vaya hasta la instancia del plan Lite de Event Streams que desee cambiar.

  2. Pulse el separador Plan en el panel de navegación de la izquierda.

  3. En la sección Cambiar plan de precios, marque el recuadro Estándar. Pulse Actualizar.

    Deje unos minutos para que se limpie el límite de 1 partición para el plan Lite y así poder aprovechar el límite de 100 particiones para el plan Estándar.

    Sin embargo, esta opción no funciona actualmente en la consola de IBM Cloud para ninguna otra combinación de planes. Por ejemplo, si prueba una combinación de planes diferente, verá un mensaje de error como el siguiente:

    Could not find VCAP::CloudController::ServicePlan with guid: ibm.eventstreams.standard

¿Cuáles son las diferencias entre los planes Estándar de Event Streams y Empresa de Event Streams?

Para encontrar más información sobre los distintos planes de Event Streams, consulte Elección del plan.

¿Cómo manejo la recuperación tras desastre?

Actualmente, es responsabilidad del usuario gestionar su propia recuperación tras desastre de Event Streams. Los datos de Event Streams se pueden replicar entre una instancia de Event Streams en una ubicación (región) y otra instancia en una ubicación diferente. Sin embargo, el usuario es responsable de proporcionar una instancia remota de Event Streams y de gestionar la réplica.

Le sugerimos una herramienta del tipo Kafka MirrorMaker para replicar datos entre clústeres. Para obtener información sobre cómo ejecutar MirrorMaker, consulte Event Streams kafka-mirrormaker. Para ver un ejemplo del proceso de recuperación, consulte Utilización de la duplicación en un escenario de recuperación tras desastre.

El usuario también es responsable de la copia de seguridad de los datos de carga útil de mensaje. Aunque estos datos se replican entre varios intermediarios de Kafka dentro de un clúster, que protege frente a la mayoría de las anomalías, esta réplica no cubre la anomalía de toda una ubicación. Se recomienda a los usuarios que realicen copias de seguridad de los nombres de los temas y de los datos de configuración de dichos temas.

Si ha configurado la instancia de Event Streams en una región multizona, es muy poco probable que se produzca un desastre regional. Sin embargo, recomendamos que los usuarios hagan un plan para tales circunstancias. Si la instancia de un usuario ya no está disponible debido a un desastre (y aún no se ha configurado ninguna instancia de DR remota), el usuario debe considerar la posibilidad de configurar una nueva instancia en una nueva región y de restaurar sus temas y datos de la copia de seguridad si está disponible. A continuación, las aplicaciones pueden apuntar a la nueva instancia.