kafka流:用于多主题分区的多流应用程序

9nvpjoqh  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(481)

我有一个包含两个分区的输入主题和两个具有相同application.id和不同sink主题的kafka流应用程序。
1) 我同时启动两个应用程序,它们开始接收数据,但当我关闭其中一个应用程序时,另一个应用程序就会一直陷入困境(仅供参考,使用者设置的会话\u超时\u ms \u配置设置为120000)
[2017-10-08 00:26:17297]调试[kafka coordinator heartbeat thread |]向协调器发送组test.joins.hourly的心跳请求:9092(id:2147483647 rack:null)(org.apache.kafka.clients.consumer.internals.abstractcoordinator)[2017-10-08 00:26:17,398]调试[kafka coordinator心跳线程| test.joins.hourly]接收到组test.joins.hourly的成功心跳响应(org.apache.kafka.clients.consumer.internals.abstractcoordinator)
2) 如何确保第二个应用程序开始处理来自两个分区的记录?我怎样才能证明这一点?
请帮帮我!

eh57zj3b

eh57zj3b1#

你说的“另一个卡住了”是什么意思?你等它开始吃了多久了?
在您的情况下,在您杀死一个消费者之后,集群可能需要2分钟来重新平衡他们。这也取决于 heartbeat.interval.ms -它越小,再平衡的平均时间就越短。

相关问题