正常吗?

u3r8eeie  于 2021-06-05  发布在  Kafka
关注(0)|答案(0)|浏览(74)

一些关于上下文的细节。我有一个具有以下流程的应用程序:
在输入主题中输入10k条消息。
kafka应用程序1将使用来自输入主题的消息并写入中间主题(使用一次幂等生产者为输入主题加消息写入中间主题的消费偏移量)
kafka应用程序2将使用来自中间主题的消息并写入输出主题(使用一次幂等生产者为中间主题和消息写入输出主题的消费偏移量)
输出主题中预期有10k条消息。
因此,我已将kafka应用程序1和应用程序2配置为只进行一次处理,处理消息时一切正常,并且:
使用-9 zk示例终止并重新启动示例
杀了9个Kafka经纪人,又重新开始了经纪人
用-9Kafka应用程序1杀死并重新启动应用程序
杀戮与-9Kafka应用程序2和重新启动应用程序
在以上4种情况下,只实现一次,我不会丢失消息,也不会有重复的消息。
然而,当处理消息并使用-9zk示例和kafka代理(并行)随机终止时,我发现我丢失了消息。
这是预期的吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题