我有一个Kafka主题需要根据大小限制配置：retention.bytes。此主题有4个分区。每个分区在3个不同的代理上有1个前导和2个副本。说出retention.bytes=1073741824每个复制副本将被限制为1gb，这意味着每个分区将被限制为3gb的日志。或者每个分区（总共3个代理上的日志）将限制为1gb的日志？
ql3eal8s1#
这个 retention.bytes 设置应用于每个分区。例如，如果设置为 1073741824 ，kafka将在每个分区中保留至少1gb的数据。因此，如果您有4个分区，则保留的数据总大小将为4gb。所有副本的大小都相同。如果你有一个主题有4个分区，复制因子是2和 retention.bytes 设置为1gb时，总大小（将分布到至少2个代理上）将为8gb。
retention.bytes
1073741824
1条答案
按热度按时间ql3eal8s1#
这个
retention.bytes设置应用于每个分区。例如，如果设置为
1073741824，kafka将在每个分区中保留至少1gb的数据。因此，如果您有4个分区，则保留的数据总大小将为4gb。所有副本的大小都相同。如果你有一个主题有4个分区，复制因子是2和
retention.bytes设置为1gb时，总大小（将分布到至少2个代理上）将为8gb。