我准备好了 log.retention.bytes=1073741824 , retention.bytes=1073741824 , partitions=3 以及 log.cleanup.policy=delete 但现在磁盘使用量增长到13gb。我可以配置kafka回收磁盘空间吗？
log.retention.bytes=1073741824
retention.bytes=1073741824
partitions=3
log.cleanup.policy=delete
f87krz0w1#
log.retention.bytes 是每个主题分区的，尽管我觉得当前的文档看起来很混乱。老Kafka文档0.8.2的描述看起来非常清晰(https://kafka.apache.org/082/documentation.html)为每个主题分区保留在日志中的数据量。请注意，这是每个分区的限制，因此乘以分区数可以得到为主题保留的总数据。所以，你应该 log.retention.bytes 由 TARGET_DISK_SIZE/NUM_OF_TOPIC_PARTITIONS_IN_EACH_NODE .我认为这是不直观的，特别是当集群有多个主题或一些可能的规模。所以我个人更喜欢通过 log.retention.hours 使用 log.retention.bytes 万不得已。
log.retention.bytes
TARGET_DISK_SIZE/NUM_OF_TOPIC_PARTITIONS_IN_EACH_NODE
log.retention.hours
1条答案
按热度按时间f87krz0w1#
log.retention.bytes是每个主题分区的，尽管我觉得当前的文档看起来很混乱。老Kafka文档0.8.2的描述看起来非常清晰(https://kafka.apache.org/082/documentation.html)
为每个主题分区保留在日志中的数据量。请注意，这是每个分区的限制，因此乘以分区数可以得到为主题保留的总数据。
所以，你应该
log.retention.bytes由TARGET_DISK_SIZE/NUM_OF_TOPIC_PARTITIONS_IN_EACH_NODE.我认为这是不直观的，特别是当集群有多个主题或一些可能的规模。所以我个人更喜欢通过
log.retention.hours使用log.retention.bytes万不得已。