Nano Hash - криптовалюты, майнинг, программирование

Flink kafka - работа Flink не отправляет сообщения в разные разделы

У меня следующая конфигурация:

  1. Одна кафка-топик с 2-мя разделами
  2. Один экземпляр zookeeper
  3. Один экземпляр кафки
  4. Два потребителя с одинаковым идентификатором группы

Фрагмент вакансии Flink:

speStream.addSink(new FlinkKafkaProducer011(kafkaTopicName,new 
SimpleStringSchema(), props));

Сценарий 1:

Я написал задание flink (Producer) на eclipse, которое читает файл из папки и помещает сообщения в тему kafka.

Поэтому, когда я запускаю этот код с помощью eclipse, он отлично работает.

Например: Если я помещаю файл со 100 записями, flink отправляет несколько сообщений в раздел 1 и несколько сообщений в раздел 2, и, следовательно, оба потребителя получают несколько сообщений.

Сценарий 2: Когда я создаю банку с приведенным выше кодом и запускаю ее на сервере flink, flink отправляет все сообщения в один раздел, и, следовательно, только один потребитель получает все сообщения.

Мне нужен сценарий 1 с использованием банки, созданной в сценарии 2.

apache-kafka kafka-producer-api apache-flink
29.08.2018

  • Вы уверены, что не используете тот же ключ для сообщений? Kafka поместит сообщения с одним и тем же ключом в один и тот же раздел. 29.08.2018
  • Я использую разделитель по умолчанию, который помещает сообщения в циклический режим. Как я уже сказал, он работает нормально, если я пробегу через затмение 29.08.2018

Ответы:


1

Если вы не укажете FlinkKafkaPartitioner или явно не укажете использование Kafka, будет использоваться FlinkFixedPartitioner, что означает, что все события из одной задачи попадут в один и тот же раздел.

Чтобы использовать разделитель Kafka, используйте этот ctor:

speStream.addSink(new FlinkKafkaProducer011(kafkaTopicName,new SimpleStringSchema(), props), Optional.empty());

Разница между запуском из IDE и eclipse, вероятно, связана с разной настройкой параллелизма или разделения во Flink.

30.08.2018

2

Для производителей Flink-Kafka добавьте «null» в качестве последнего параметра.

speStream.addSink(new FlinkKafkaProducer011(
    kafkaTopicName,
    new SimpleStringSchema(),
    props,
    (FlinkKafkaPartitioner) null)
);

Краткое объяснение этого заключается в том, что это отключает Flink от использования разделителя по умолчанию FlinkFixedPartitioner. Отключение этого параметра по умолчанию позволит Kafka распределять данные между своими разделами по своему усмотрению. Если это НЕ выключено, то каждый слот параллелизма / задачи, используемый для приемника, который использует FlinkKafkaProducer, будет записывать только один раздел на слот параллелизма / задачи.

30.08.2018
Новые материалы
Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
Частный метод Python: улучшение инкапсуляции и безопасности
Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..