SpringKafka:使用concurrentkafkalistenercontainerfactory和多并发,每次轮询获取多少消息?

thtygnil  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(358)

我正在用concurrentkafkalistenercontainerfactory运行SpringKafka,并将concurrency设置为15,并将max.poll.records设置为100。
在一次轮询中获取多少条消息?是100还是1500?如果它只取100,它是从所有不同的分区还是从单个分区取?
如果它获取1500,我应该增加会话超时以避免重新平衡吗?

93ze6v8z

93ze6v8z1#

每个使用者线程(15)是独立的,并且在调用时将检索多达100条记录 poll() .
实际数量取决于分区之间数据的平衡程度(必须至少有15个分区)。
只要你能处理100条记录 max.poll.timeout.ms (默认为5分钟),无需增加。

相关问题