如何限制kafka consumer的事件消耗速度,使服务不受影响,获取kafka主题中的大量数据,我需要处理所有的事件。我们有8个用户从12个分区读取kafka主题中的大量数据,但保留期为5天。那么,我如何从消费者方面进行限制,使消费者不会下跌。Kafka有没有办法提高消费者的信息阅读速度。10分钟内有100个项目。
roejwanj1#
您可以使用kafka配额限制使用者请求。如果您的消费者正在“下降”,则代码中可能存在其他问题。例如,在以前的消息被完全处理之前,不阻止对更多消息的请求。但配额应该有助于限制消费者。
1条答案
按热度按时间roejwanj1#
您可以使用kafka配额限制使用者请求。
如果您的消费者正在“下降”,则代码中可能存在其他问题。例如,在以前的消息被完全处理之前,不阻止对更多消息的请求。但配额应该有助于限制消费者。