我们正在运行Kafka0.11.0的6节点集群。我们以字节为单位设置了全局保留和每个主题保留,这两种保留都不适用。没有错误,我可以看到在日志中,只是没有被删除(按大小;时间保留似乎确实有效)
见以下相关配置:
./config/server.properties(配置/服务器属性):
# global retention 75GB or 60 days, segment size 512MB
log.retention.bytes=75000000000
log.retention.check.interval.ms=60000
log.retention.hours=1440
log.cleanup.policy=delete
log.segment.bytes=536870912
主题配置(30gb):
[tstumpges@kafka-02 kafka]$ bin/kafka-topics.sh --zookeeper zk-01:2181/kafka --describe --topic stg_logtopic
Topic:stg_logtopic PartitionCount:12 ReplicationFactor:3 Configs:retention.bytes=30000000000
Topic: stg_logtopic Partition: 0 Leader: 4 Replicas: 4,5,6 Isr: 4,5,6
Topic: stg_logtopic Partition: 1 Leader: 5 Replicas: 5,6,1 Isr: 5,1,6
...
磁盘使用率显示一个分区910gb的使用率!
[tstumpges@kafka-02 kafka]$ sudo du -s -h /data1/kafka-data/*
82G /data1/kafka-data/stg_logother3-2
155G /data1/kafka-data/stg_logother2-9
169G /data1/kafka-data/stg_logother1-6
910G /data1/kafka-data/stg_logtopic-4
我可以看到分区目录中有很多段日志文件(每个512mb)。。。怎么回事?!
提前谢谢你,雷霆
1条答案
按热度按时间t30tvxxf1#
通过kafka用户邮件列表找到了答案。我们显然遇到了kafka bug kafka-6030(log cleaner cleanable ratio计算中的整数溢出)
升级到v1.0.0已经为我们解决了这个问题!