我想实现一个功能,它需要Kafka队列暂停和恢复,我想知道的是,有没有时间限制,直到它可以暂停?
dgsult0t1#
Kafka实际上没有“队列”,主题中的所有消息都是由消费者消费的。消费者可以按照自己喜欢的方式消费消息,消费者可以从头开始消费消息,也可以根据自己的需要停止和恢复。当消费者消费消息时,它可以将偏移提交给Kafka,如果消费者死亡,它将在何时返回,它将从最后提交的消息开始。如果您希望轮询一组消息并长时间处理这些消息,Kafka Consumers的配置max.poll.interval.ms默认为5分钟。如果您希望使用消息并处理这些消息的时间超过5分钟,则应增加该配置。否则消费者组将认为您的消费者已经死亡,并将重新平衡分区。
1条答案
按热度按时间dgsult0t1#
Kafka实际上没有“队列”,主题中的所有消息都是由消费者消费的。消费者可以按照自己喜欢的方式消费消息,消费者可以从头开始消费消息,也可以根据自己的需要停止和恢复。当消费者消费消息时,它可以将偏移提交给Kafka,如果消费者死亡,它将在何时返回,它将从最后提交的消息开始。
如果您希望轮询一组消息并长时间处理这些消息,Kafka Consumers的配置max.poll.interval.ms默认为5分钟。如果您希望使用消息并处理这些消息的时间超过5分钟,则应增加该配置。否则消费者组将认为您的消费者已经死亡,并将重新平衡分区。