我有10个节点的kafka集群,kafka代理和zookeeper都在每个节点上运行。最近我们添加了3个新节点8、9和10,昨天有2个节点坏了(2和4)。我有一个关于60个分区和3个复制的主题。在《Kafka经理人》中, Brokers Skewed %
显示为50和 Brokers Leader Skewed %
70岁。我已经从ui和 Brokers Skewed %
现在为0,但没有更改 Brokers Leader Skewed %
. 我还运行了命令:
$ kafka-preferred-replica-election.sh --zookeeper localhost:2181 --path-to-json-file test.json
Warning: --zookeeper is deprecated and will be removed in a future version of Kafka.
Use --bootstrap-server instead to specify a broker to connect to.
Created preferred replica election path with ...
Successfully started preferred replica election for partitions Set(..
但这并没有改变什么。我可以在ui上看到代理8和10没有领导者。我如何在所有经纪人之间平衡领导者?我读到所有代理的集群滚动重启可以解决这个问题,但我不能(在正常情况下)重启我的生产kafka集群。
kafka version: 2.3.0
zookeeper version: 3.4.12
添加了Kafka经理的屏幕截图,并用红色圆圈突出显示了问题。
我将感谢任何帮助。
1条答案
按热度按时间c9qzyr3d1#
我能解决这个问题。如果你仔细看屏幕截图,你会注意到没有一个首选的复制品(第一个条目是
Replicas
列)分配给代理8或10,并且只有分区37将代理9作为首选副本Preferred Replica Election
不起作用。我使用
Manual Partition Assignments
(将代理8、9和10移动到17个分区(6*3-2)中的副本0)选项,然后运行Reassign Partitions
然后跑步Preferred Replica Election
.我希望这对其他人有帮助。
注:最近增加了8、9、10节点。