Как Kafka обрабатывает задержку консюмера?

Задержка (лаг) консюмера — это разница между offset последнего созданного сообщения и offset последнего прочитанного сообщения. Лаг показывает, насколько потребитель отстаёт от потока данных.

Kafka предоставляет инструменты для мониторинга лага:

• Инструмент командной строки kafka-consumer-groups
• AdminClient API
• JMX-метрики

Kafka не обрабатывает задержки автоматически, но предоставляет метрики для принятия решений о масштабировании или оптимизации.

На собеседовании: высокий consumer lag — это красный флаг. Решения: добавить потребителей в группу (до количества партиций), увеличить max.poll.records, оптимизировать обработку сообщений, или добавить партиции в топик.