我们启用了kafka压缩，除了一个很大的主题（超过30m的记录和超过40gb的大小）之外，它工作得很好。Kafka主题压缩有什么限制/配置吗？谢谢，格迪米纳斯
lfapxunr1#
我们找到了解决办法。我们使用了Kafka0.9，它有一个错误。在获取主题大小时，它使用整数变量。因此，所有超过2gb的主题都因此而失败。后来Kafka有了这个办法https://github.com/apache/kafka/commit/1f64942021bd8fe0f2791700fb402cfac1acc9de#diff-d7330411812d23e8a34889bee42fedfe升级后，我们的问题解决了。
1条答案
按热度按时间lfapxunr1#
我们找到了解决办法。我们使用了Kafka0.9，它有一个错误。在获取主题大小时，它使用整数变量。因此，所有超过2gb的主题都因此而失败。后来Kafka有了这个办法https://github.com/apache/kafka/commit/1f64942021bd8fe0f2791700fb402cfac1acc9de#diff-d7330411812d23e8a34889bee42fedfe升级后，我们的问题解决了。