我在谷歌上搜索和阅读Kafka文档,但我找不到消费者补偿的最大值,以及在最大值之后是否有补偿环绕。我知道偏移量是一个int64值,所以最大值是0xffffffffffffff。如果有概括,Kafka如何处理这种情况?
wyyhbhjk1#
看来这不是真正的“处理”。但是,考虑到偏移量是每个分区的,这似乎是我们不应该担心的:)请看http://search-hadoop.com/m/uyznd1urn8d1ssh322/rollover/v=threaded
xmq68pz92#
根据这篇文章,偏移量没有重置:我们现在不回滚偏移。因为偏移量很长,所以可以持续很长时间。如果你每天写1tb,你可以继续写大约400万天。另外,您可以总是使用更多的分区(每个分区都有自己的偏移量)。所以正如卢西亚诺所说,也许不值得担心。
2条答案
按热度按时间wyyhbhjk1#
看来这不是真正的“处理”。但是,考虑到偏移量是每个分区的,这似乎是我们不应该担心的:)
请看http://search-hadoop.com/m/uyznd1urn8d1ssh322/rollover/v=threaded
xmq68pz92#
根据这篇文章,偏移量没有重置:
我们现在不回滚偏移。因为偏移量很长,所以可以持续很长时间。如果你每天写1tb,你可以继续写大约400万天。
另外,您可以总是使用更多的分区(每个分区都有自己的偏移量)。
所以正如卢西亚诺所说,也许不值得担心。