我想构建一个程序,根据数据的时间戳重新处理Kafka中的数据,而不影响工作消费者的偏移量。所以我做了一些研究,得到了一个与我的情况类似的答案。https://stackoverflow.com/a/50405704/7034612然而,我仍然不确定上述答案中编写的代码是否会影响当前工作的消费者补偿。如果恢复过程影响到当前正在工作的消费者的补偿,它将打乱整个程序。
zysjyyx41#
您可以创建一个属于不同消费者组的新消费者(据我所知,“再处理逻辑”将使用某种消费者)。kafka中的消费者组为其处理的每个分区维护自己的偏移量,因此不会影响已经开始处理的消费者。你可以在这里阅读有关消费群体的信息
1条答案
按热度按时间zysjyyx41#
您可以创建一个属于不同消费者组的新消费者(据我所知,“再处理逻辑”将使用某种消费者)。
kafka中的消费者组为其处理的每个分区维护自己的偏移量,因此不会影响已经开始处理的消费者。
你可以在这里阅读有关消费群体的信息