Topics

Autor Olivera Lucas.

Manejo de mensajes

Un Cluster de kafka contiene multiples brokers. Los Brokers contienen Topics que reciben y almacenan la información. Lo Topics se dividen en partitions, donde se almacenan propiamente los datos. Las Partitions se replican en todos los Topics para ser tolerante a fallas.

Kafka brokers and topics

• Topic

  Un topic proporciona un destino para el almacenamiento de datos. Cada tema se divide en una o más particiones

• Partition

  El número de topic partitions es defino por el topic partition count.

• Partition leader

  Un líder de partición maneja todas las solicitudes de productores para un tema.

• Partition follower

  Un seguidor de partición replica los datos de partición de un líder de partición y, opcionalmente, maneja las solicitudes de los consumidores.

  Los topics usan un factor de replicación para configurar el número de réplicas de cada partición dentro del clúster. Un topic comprende al menos una partición.

  Una réplica sincronizada tiene el mismo número de mensajes que el líder. La configuración define cuántas réplicas deben estar sincronizadas para poder generar mensajes, lo que garantiza que un mensaje se confirme solo después de que se haya copiado correctamente en la partición de réplica. De esta forma, si el líder falla, el mensaje no se pierde.

  En el diagrama de broker y topic de Kafka, podemos ver que cada partición numerada tiene un líder y dos seguidores en temas replicados.

Estandar

• Nombre de topics: la nomenclatura para el nombrado de los topics debe ser {proyect}-{evento} Ej: mobile-visita, spp-alta-envio
• Número de particiones: por defecto el número de particiones debe ser de 6
• Factor de replicación: el factor de replicación por defecto debe ser de 3 para garantizar alta disponibilidad.

Tip

Continuar lectura en consumerGroup