Для чего нужен Broker log cleaner thread?

Log Cleaner Thread — это фоновый поток в брокере, выполняющий сжатие журнала (log compaction). При сжатии Kafka удаляет устаревшие записи, сохраняя только последнее значение для каждого ключа.

Это полезно, когда нужно хранить только актуальное состояние: changelog, snapshot БД, конфигурации. Log Cleaner периодически запускается для сжатия партиций с cleanup.policy=compact.

На собеседовании: log compaction — это не удаление по времени (retention), а сохранение последнего значения по ключу. Классический кейс — хранение последнего состояния сущности (например, последний адрес пользователя).