我们有Kafka星团 3 nodes Kafka 5 topics 每个主题包括 100 partitions 鞠躬我们要把 retention bytes 以及 retention segment 这样每个主题分区就不会很高了 5G （因为我们受到Kafka磁盘大小的限制）有没有可能调整保留字节和段字节的值，这样任何主题分区都不会很高 5G ?
3 nodes
5 topics
100 partitions
retention bytes
retention segment
5G
6mzjoqzu1#
没有办法限制主题的大小。甚至有可能保持率会超过 retention.bytes 如果将数据推入主题的速度比logcleaner线程有时间清理它的速度快。还要注意，即将推出的Kafka版本将提供无限的保留或者您也可以类似地使用apachepulsar的分层存储功能，而不是kafka
retention.bytes
1条答案
按热度按时间6mzjoqzu1#
没有办法限制主题的大小。甚至有可能保持率会超过
retention.bytes如果将数据推入主题的速度比logcleaner线程有时间清理它的速度快。还要注意，即将推出的Kafka版本将提供无限的保留
或者您也可以类似地使用apachepulsar的分层存储功能，而不是kafka