Я измеряю производительность продюсера кафки. В настоящее время я встречал двух клиентов с немного разной конфигурацией и использованием:
Общий:
def buildKafkaConfig(hosts: String, port: Int): Properties = {
val props = new Properties()
props.put("metadata.broker.list", brokers)
props.put("serializer.class", "kafka.serializer.StringEncoder")
props.put("producer.type", "async")
props.put("request.required.acks", "0")
props.put("queue.buffering.max.ms", "5000")
props.put("queue.buffering.max.messages", "2000")
props.put("batch.num.messages", "300")
props
}
Первый клиент:
"org.apache.kafka" % "kafka_2.11" % "0.8.2.2"
Использование:
val kafkaConfig = KafkaUtils.buildKafkaConfig("kafkahost", 9092)
val producer = new Producer[String, String](new ProducerConfig(kafkaConfig))
// ... somewhere in code
producer.send(new KeyedMessage[String, String]("my-topic", data))
Второй клиент:
"org.apache.kafka" % "kafka-clients" % "0.8.2.2"
Использование:
val kafkaConfig = KafkaUtils.buildKafkaConfig("kafkahost", 9092)
val producer = new KafkaProducer[String, String](kafkaConfig)
// ... somewhere in code
producer.send(new ProducerRecord[String, String]("my-topic", data))
Мои вопросы:
- В чем разница между 2 клиентами?
- Какие свойства следует учитывать, чтобы достичь оптимальной производительности при записи с большим объемом операций записи для крупномасштабного приложения?
