Kafka的消息，已发布的生产者是不断出现在消费者端后，一个特定的间隔我试图从我的Kafka主题中汲取一条信息，那一次我面对的是我上面解释的问题。我想，这是由于在设置了5分钟（这是一个默认的轮询间隔）之后重新轮询造成的。我的理解正确吗？我的预期结果是消息不应该被反复处理。只能处理一次。我怎样才能做到这一点？
mfpqipee1#
您的配置似乎是enable.auto.commit:false和auto.commit.interval.ms:some value第二种配置是在某个特定间隔（某个值）之后出现消息。相同的消息出现在使用者端进行处理，因为第一次未成功处理该消息。如果zookeeper或broker没有可用的最后偏移量信息，并且auto.offset.reset设置为最小（或最早），则处理将从第0个偏移量开始。如果不想重新处理同一消息，请将auto.offset.reset更改为最大（或最新）。
1条答案
按热度按时间mfpqipee1#
您的配置似乎是enable.auto.commit:false和auto.commit.interval.ms:some value
第二种配置是在某个特定间隔（某个值）之后出现消息。相同的消息出现在使用者端进行处理，因为第一次未成功处理该消息。如果zookeeper或broker没有可用的最后偏移量信息，并且auto.offset.reset设置为最小（或最早），则处理将从第0个偏移量开始。如果不想重新处理同一消息，请将auto.offset.reset更改为最大（或最新）。