如何修复0.10.2.1Kafka中的Kafka消费滞后

byqmnocz  于 2021-06-06  发布在  Kafka
关注(0)|答案(3)|浏览(342)

面临Kafka消费滞后的问题。现在,我们重新启动Kafka消费者,以减少滞后。需要帮助解决问题。
我们有三个经纪人和六个消费者。

kdfy810k

kdfy810k1#

重启消费者不太可能解决问题。我建议采取以下一系列行动:
监控每个消费者在单位时间内(假设为每分钟)减少了多少延迟。你可以把滞后的总减少量除以6来得到它。
如果延迟减少的比率仍然太低,并且您想增加它,那么添加适当数量的消费者。您可以从上一步中获得额外消费者数量的估计值。
确保您的所有消费者都属于同一个消费者组。

eh57zj3b

eh57zj3b2#

当我使用一个分区的主题时,我也遇到了同样的问题。在我的消费开始后不久,滞后现象就一直在增加。对我有效的是,我用以下命令删除了现有的Kafka主题:
kafka-topics.sh--Zookeeperlocalhost:2181 --delete --主题ntift
并使用以下命令创建具有1个以上分区(本例中为3个)的同一主题:
kafka-topics.sh--Zookeeperlocalhost:2181 --create --主题ntift--分区3--复制因子3
现在,重新启动我的消费者应用程序。重新启动后,我没有看到延迟(运行下面的命令检查延迟):
kafka-console-groups.sh—引导服务器localhost:9092 --group 我的消费者应用——描述
组主题分区当前偏移量日志结束偏移量滞后消费者id主机客户端id app grp ntift 0 45 45 0 sarama-9c2dd/sarama app grp ntift 1 44 0 sarama-9c2dd/sarama app grp ntift 2 43 43 0 sarama-9c2dd/sarama
我还注意到消费者组(即我的消费者应用程序)已经启动并运行,其中有3个消费者。

iibxawm4

iibxawm43#

大多数情况下,代理示例的性能远远高于使用者。增加主题的分区,并将使用者增加到分区,怎么样。使用并发可以提高性能。
如果在zookeeper上存储偏移量,它可能会成为瓶颈。减少偏移量的提交,并尽可能使用专用的zookeeper。最好的解决方案是在代理上存储补偿。

相关问题