Как устроена архитектура брокера?

Брокер — это сервер Kafka, который принимает, хранит и отдаёт сообщения. Кластер Kafka состоит из нескольких брокеров.

• У каждой партиции свой лидер — для каждой партиции назначается брокер-лидер, который отвечает за запись и чтение данных
• Сообщения пишутся в лидера — производители отправляют сообщения напрямую в брокер-лидер партиции
• Данные реплицируются между брокерами — для отказоустойчивости Kafka реплицирует данные партиций на другие брокеры (реплики)
• Автоматический фейловер лидера — при сбое брокера-лидера Kafka автоматически назначает нового лидера из числа синхронизированных реплик

На собеседовании: ключевой вопрос — что происходит при падении лидера. Объясните механизм ISR (In-Sync Replicas): только брокеры из ISR-списка могут стать новым лидером, что гарантирует отсутствие потери данных.