confluent 7.4.0中出现Kafka连接错误,但confluent 6.2.6中没有

voj3qocg  于 2023-06-21  发布在  Apache
关注(0)|答案(1)|浏览(618)

我的经纪人版本是2.8.2。使用cp-kafka-connect v6.2.6 for s3 sink工作正常。但是如果我将docker镜像更改为cp-kafka-connect v7.4.0,我就会开始收到这样的错误:

"Request joining group due to: rebalance failed due to 'The group member needs to have a valid member id before actually entering a consumer group.' (MemberIdRequiredException) (org.apache.kafka.connect.runtime.distributed.WorkerCoordinator)"

知道为什么吗

xzv2uavs

xzv2uavs1#

The group member needs to have a valid member id before actually entering a consumer group.

该错误消息似乎与Kafka处理消费者组成员身份的方式的变化有关。此变更作为KIP-792的一部分引入,在Kafka 3.4中实现。您正在使用的Confluent Platform 7.4包含Kafka 3.4,因此此更改将出现在该版本的平台中。
KIP-792扩展了每个组成员在其JoinGroup订阅中传递给组长的元数据,以包括消费者所属的最高稳定代。分区分配器可以使用该信息来确定消费者所要求的ownedPartitions是否仍然被拥有并因此有效,以及在没有人对给定分区具有有效要求的情况下哪个消费者对给定分区具有最近的要求。
您看到的错误消息是在使用者尝试加入没有有效成员ID的组时生成的。这是加入组v4协议的一部分,并且是预期行为:参见tulios/kafkajs issue 856的说明。看起来这个错误本身可能不是问题,但由于Kafka Connect记录和处理此类错误的方式发生了变化,它正在浮出水面。
同样值得注意的是,Kafka社区已经意识到这些错误消息引起的混乱,并已做出更改以增强日志记录机制,使其在新版本中(作为KAFKA-10134的一部分)噪音更小,信息更丰富。
但简而言之,错误消息本身可能并不表明您的Kafka Connect设置存在问题。相反,它可能更多的是关于协议功能的信息性消息。

相关问题