我想从python应用程序中监视kafka集群中的使用者组（基于kafka的组而不是zk）（我愿意使用kafka python库和合流kafka客户端中的任何一个）。其目的是根据每个消费群体的滞后性推出更多（或删除一些）消费者。
合流的kafka管理api似乎没有python选项来实现这一点。穴居似乎是一种选择。但这将是一个额外的服务设置和监测。
也欢迎任何其他方法。我正在寻找最好的做法来做到这一点。
谢谢您！
我想从python应用程序中监视kafka集群中的使用者组（基于kafka的组而不是zk）（我愿意使用kafka python库和合流kafka客户端中的任何一个）。其目的是根据每个消费群体的滞后性推出更多（或删除一些）消费者。
合流的kafka管理api似乎没有python选项来实现这一点。穴居似乎是一种选择。但这将是一个额外的服务设置和监测。
也欢迎任何其他方法。我正在寻找最好的做法来做到这一点。
谢谢您！
1条答案
按热度按时间yzuktlbb1#
如果你的Kafka客户和经纪人足够现代，你可以通过监控
__consumer-offsets主题，定义某种程度的滞后阈值，从而使您可以扩展您的消费群体。这将超出adminclient处理的范围，因为它与您在应用程序层上启动的用户数有关，实际上与代理操作无关。我也会确保你的Kafka主题有足够的分区，能够弹性伸缩你的消费群体。