Kafka0.8.2.1制镜机

hm2xizp9  于 2021-06-07  发布在  Kafka
关注(0)|答案(0)|浏览(224)

我对Kafka的镜子制造商有意见。由于群集升级,我已停止mirror maker 30分钟,在重新启动群集时,mirror maker无法使用来自源群集的数据。我看到mirror maker的消费者群体的滞后性非常高,所以我考虑更改一些参数,以增加mirror maker的缓冲区大小。我已尝试更改镜像生成器的使用者组,在本例中,此操作允许重新开始使用最新消息中的数据。当我尝试从上次保存的偏移量重新启动进程时,我看到消耗数据的峰值,但镜像生成器实际上无法提交偏移量,日志被阻止在行:info kafka.tools.mirrormaker$:提交偏移量,并且在此行之后不再显示行。
我认为这个问题与要处理的大量数据有关。ive使用kafka 0.8.2.1运行群集,配置如下:

dual.commit.enabled=false offsets.storage=zookeeper auto.offset.reset=largest

提前谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题