Для чего нужен координатор группы?

Координатор группы (Group Coordinator) — это компонент Kafka, который управляет жизненным циклом Consumer Group: членством, назначением партиций и фиксацией смещений.

Когда потребитель присоединяется к группе или покидает её, координатор запускает перебалансировку (rebalancing) для переназначения партиций среди оставшихся потребителей.

На собеседовании: часто спрашивают, что происходит при rebalancing. Во время перебалансировки все потребители в группе приостанавливают обработку — это «stop-the-world» пауза. Поэтому важно минимизировать частоту rebalancing через правильную настройку session.timeout.ms и heartbeat.interval.ms.