Kafka消费集团继续进入准备再平衡状态,停止消费

xj3cbfub  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(218)

我们有一个Kafka流消费者群体,他们一直在准备重新平衡状态,停止消费。模式如下:
消费群体正在运行并稳定了大约20分钟
新的消费者(成员)在没有任何明确原因的情况下开始出现在组状态中,这些新成员只来自少数vm(每次不是相同的vm),并且它们不断加入
组状态更改为preparingrebalance
所有消费者停止消费,显示以下日志:“组协调器。。。不可用或无效,将尝试重新发现“
生成额外成员的虚拟机上的使用者显示以下日志:
偏移量提交在偏移量y处的分区x上失败:协调器不知道此成员。
提交流任务x失败,因为它已迁移到另一个线程。在触发新的重新平衡之前将其关闭为僵尸。
检测到已迁移到另一个线程的任务z。这意味着该线程错过了重新平衡,并退出了消费组。将尝试重新加入消费者群体。
我们杀死所有虚拟机上的所有使用者进程,组移动到0个成员的空,我们启动进程,然后返回到步骤1
Kafka版本是1.1.0,streams版本是2.0.0
我们从行为不端的使用者那里获取线程转储,没有看到比配置更多的使用者线程。
我们试着重新启动Kafka经纪人,清理zookeeper缓存。
我们怀疑这个问题与丢失的心跳有关,但是默认的心跳是3秒,消息处理时间离这不远。
有人遇到过类似的行为吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题