Для чего нужен идемпотентный продюсер?

Идемпотентный продюсер гарантирует exactly-once доставку на уровне одной партиции, предотвращая дублирование записей при повторных попытках отправки. Включается через enable.idempotence=true.

Каждому продюсеру присваивается Producer ID (PID), а каждому сообщению — sequence number. Брокер отклоняет дубликаты с тем же PID и sequence number.

На собеседовании: идемпотентный продюсер решает проблему дубликатов при ретраях, но только в пределах одной партиции и одной сессии продюсера. Для exactly-once между топиками нужен Transactions API.