Kafka分区和偏移消失了

a0zr77ik  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(410)

我的kafka客户机运行在gcp app engine flex环境中,并启用了自动缩放功能(gcp将示例数保持为至少两个,由于cpu使用率较低,示例数大多为2个)。运行在2个vm中的用户组几个月来一直在20个分区中使用来自不同主题的消息,最近我注意到旧主题中的分区缩小到只有1个(!)该消费群体的补偿重置为0。主题-[partition]目录也从kafka logs目录中消失了。奇怪的是,最近创建的主题分区完好无损。我有三个不同的环境(都在gcp中),这三个环境都发生过。我们没有看到任何丢失的消息或数据问题,但希望了解发生了什么,以避免这种情况再次发生。
kafka代理和zookeeper在同一个gcp计算引擎示例中运行(我知道这不是最佳实践,并且有改进的计划),我怀疑这与机器重启有关,这会抹去一些信息。但是,我验证了数据文件是写在/opt/bitnami/(kafka | bitnami)目录下的,而不是可以通过机器重启删除的/tmp。
SpringKafka1.1.3
Kafka客户端0.10.1.1
单节点kafka broker 0.10.1.0
单节点zookeeper 3.4.9
如果您对此有任何见解,我们将不胜感激!

4xy9mtcn

4xy9mtcn1#

这里是bitnami开发者。我可以复制这个问题并追踪到一个初始化脚本,该脚本正在清除 tmp/kafka-logs/ 文件夹。
我们发布了新版本的kafka安装程序、虚拟机和云映像来修复这个问题。包含修复的修订是 1.0.0-2 .

相关问题