多分区Kafka问题

y3bcpkx1  于 2021-06-06  发布在  Kafka
关注(0)|答案(0)|浏览(219)

如果我用一个单独的分区Kafka主题,一切都很好。
如果我使用5个kafka服务器和一个包含10个分区的主题,那么分配给控制代理的分区以偏移量-1开始。发送到这些分区的消息将丢失。
梳理一下日志,我没有发现任何错误。尽管我确实看到了很多分区停用的警告,但“info[replicafetcher replicaid=1,leaderid=5,fetcherid=0]正在重试分区的leaderepoch请求\uu consumer\u offsets-2,因为领导者报告了一个错误:未知的\u topic\u或\u partition”
在执行资源限制的操作系统升级(dc/os)之前,这一切都很正常。我把资源分配增加到了可笑的程度。
下面是在写入任何数据之前,kafdrop对uu consumer_uoffset主题的前5个分区的输出。
隔板
第一偏移量
上次偏移大小
领导
复制品
同步副本
首选领导?
复制不足?

0   0   0   0   3   3,1,2,4,5   1,2,3,4,5   Yes No

1   0   0   0   4   4,2,3,5,1   1,2,3,4,5   Yes No

2   0   0   0   5   5,3,4,1,2   1,2,3,4,5   Yes No

3   -1  -1  0   1   1,4,5,2,3   1,2,3,4,5   Yes No

4   0   0   0   2   2,5,1,3,4   1,2,3,4,5   Yes No

此时,kafka服务器1正在运行,其日志看起来很好。服务器1也被标识为控制代理。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题