kafka per topic retention.bytes和global log.retention.bytes不起作用

yi0zb3m4  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(580)

我们正在运行Kafka0.11.0的6节点集群。我们以字节为单位设置了全局保留和每个主题保留,这两种保留都不适用。没有错误,我可以看到在日志中,只是没有被删除(按大小;时间保留似乎确实有效)
见以下相关配置:
./config/server.properties(配置/服务器属性):


# global retention 75GB or 60 days, segment size 512MB

log.retention.bytes=75000000000

log.retention.check.interval.ms=60000

log.retention.hours=1440

log.cleanup.policy=delete

log.segment.bytes=536870912

主题配置(30gb):

[tstumpges@kafka-02 kafka]$ bin/kafka-topics.sh  --zookeeper zk-01:2181/kafka --describe --topic stg_logtopic
Topic:stg_logtopic    PartitionCount:12       ReplicationFactor:3     Configs:retention.bytes=30000000000
        Topic: stg_logtopic   Partition: 0    Leader: 4       Replicas: 4,5,6 Isr: 4,5,6
        Topic: stg_logtopic   Partition: 1    Leader: 5       Replicas: 5,6,1 Isr: 5,1,6
        ...

磁盘使用率显示一个分区910gb的使用率!

[tstumpges@kafka-02 kafka]$ sudo du -s -h /data1/kafka-data/*
82G     /data1/kafka-data/stg_logother3-2
155G    /data1/kafka-data/stg_logother2-9
169G    /data1/kafka-data/stg_logother1-6
910G    /data1/kafka-data/stg_logtopic-4

我可以看到分区目录中有很多段日志文件(每个512mb)。。。怎么回事?!
提前谢谢你,雷霆

t30tvxxf

t30tvxxf1#

通过kafka用户邮件列表找到了答案。我们显然遇到了kafka bug kafka-6030(log cleaner cleanable ratio计算中的整数溢出)
升级到v1.0.0已经为我们解决了这个问题!

相关问题