Уплотнение Kafka для дедупликации

Короткий ответ - нет.

Kafka не гарантирует уникальность ключа, хранящегося с включенным сохранением темы.

В Kafka есть два типа cleanup.policy:

• delete - Это означает, что по истечении заданного времени сообщения не будут доступны. Для этого можно использовать несколько свойств: log.retention.hours, log.retention.minutes, log.retention.ms. По умолчанию log.retention.hours установлен 168. Это означает, что сообщения старше, чем 7 дней, будут удалены.
• compact - Для каждой клавиши будет доступно хотя бы одно сообщение. В некоторых ситуациях это может быть один, но в большинстве случаев их будет больше. Обработанное уплотнение периодически выполняется в фоновом режиме. Он копирует части журнала с удалением дубликатов и оставлением только последнего значения.

Если вы хотите читать только одно значение для каждого ключа, вы должны использовать абстракцию KTable<K,V> из Kafka Streams.

Связанный вопрос относительно последнего значения ключа и сжатия: Kafka подписывается только на последнее сообщение ?

Глядя на 4 гарантии уплотнения какфа, номер 4 гласит:

Любой потребитель, продвигающийся с начала журнала, увидит по крайней мере конечное состояние всех записей в том порядке, в котором они были написаны. Кроме того, будут видны все маркеры удаления для удаленных записей при условии, что потребитель достигнет заголовка журнала за период времени меньше, чем параметр delete.retention.ms в теме (по умолчанию - 24 часа). Другими словами: поскольку удаление маркеров удаления происходит одновременно с чтением, потребитель может пропустить маркеры удаления, если он запаздывает более чем на delete.retention.ms.

Таким образом, у вас будет несколько значений для ключа, если заголовок темы не сохраняется политикой delete.retention.ms.

Насколько я понимаю, если вы установите 24-часовую политику хранения (delete.retention.ms=86400000), у вас будет уникальное значение для одного ключа для всех сообщений, которые были отправлены 24 часа назад. Это ваш минимум, но не только, поскольку за последние 24 часа могло прийти много других сообщений для того же ключа.

Таким образом, гарантировано, что вы поймаете хотя бы одно, но не только последнее, потому что удержание не повлияло на последние сообщения.

редактировать. Как говорится в комментарии крикета, даже если вы установите свойство хранения при удалении на 1 день, log.roll.ms определяет, когда сегмент журнала закрывается, на основе отметки времени сообщения. Поскольку этот последний сегмент никогда не сохраняется для сжатия, он становится вторым фактором, который не позволяет вам иметь только последнее значение для вашего известного ключа. Если ваша тема начинается с T0, то сообщения после T0+log.roll.ms будут в открытом сегменте журнала и не будут уплотнены.