手动关闭旧kafka事务

9q78igpj  于 2021-06-06  发布在  Kafka
关注(0)|答案(0)|浏览(227)

我们的一个kafka集群(kafka版本2.2.1)有问题。一些消费分区未被清理,大小为10s gb(正常分区的大小为10s MB)。
logcleaner提到:

[2019-06-17 12:27:26,147] DEBUG Finding range of cleanable offsets for log=__consumer_offsets-13 topicPartition=__consumer_offsets-13. Last clean offset=Some(4546182967) now=1560774446127 => firstDirtyOffset=4546182967 firstUncleanableOffset=4737493473 activeSegment.baseOffset=5008571978 (kafka.log.LogCleanerManager$)

所以根据logcleaner,偏移量4737493473不应该被清理。但这是一个非常旧的偏移量,因此我们进一步查看了该分区的最新*.snapshot文件:

/usr/kafka/bin/kafka-dump-log.sh --files /data/__consumer_offsets-13/00000000005012457913.snapshot | grep 4737493473
producerId: 574024 producerEpoch: 24 coordinatorEpoch: 114 currentTxnFirstOffset: Some(4737493473) firstSequence: 0 lastSequence: 0 lastOffset: 4737493473 offsetDelta: 0 timestamp: 1558689306384

因此,这种抵消似乎是正在进行的交易的一部分。我的问题是,我们该怎么做才能使原木越过这个偏移量呢?我们是否可以手动关闭该事务、删除它或执行其他操作?
致以最诚挚的问候

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题