我试图检查Kafka中某个特定主题的队列大小。尽管如此，我甚至不知道如何检查这个指标哪怕一次。我对Kafka完全陌生，所以我不知道该怎么办。我假设它将涉及创建一个生产者或消费者来与队列交互，但我遇到了一个障碍。
nkoocmlb1#
如果您想知道还有多少msg可以按主题和分区使用：以编程方式，如果您使用的是高级使用者客户机，则必须查询zookeeper。与当前偏移位置相关的数据存储在路径/kafka/consumers下。看一看Kafka偏移量监视工具。它将使您了解存储在zk中的数据类型。这种行为将在下一个版本0.9.0中改变，因为zk中的写密集型并不是最佳用例。如果你想知道这个主题中总共有多少个msg：你必须自己和消费者一起计算。或者将消息镜像到另一个专门用于分析目的的kafka集群（stats、count、anything）。kafka中的队列大小概念是不相关的，因为它不是一个队列而是一个日志。你可以消费，倒带，跳跃，因为你想任何偏移。
3pvhb19x2#
我认为目前不可能。您应该将kafka主题视为一个无限的数据流，因此您唯一的选择是计算使用者中已消费的消息。您可以使用kafka偏移量监视工具，它将显示每个主题分区的日志大小（您必须总结）：http://ingest.tips/2014/10/12/kafka-high-level-consumer-frequently-missing-pieces/
2条答案
按热度按时间nkoocmlb1#
如果您想知道还有多少msg可以按主题和分区使用：以编程方式，如果您使用的是高级使用者客户机，则必须查询zookeeper。与当前偏移位置相关的数据存储在路径/kafka/consumers下。看一看Kafka偏移量监视工具。它将使您了解存储在zk中的数据类型。这种行为将在下一个版本0.9.0中改变，因为zk中的写密集型并不是最佳用例。
如果你想知道这个主题中总共有多少个msg：你必须自己和消费者一起计算。或者将消息镜像到另一个专门用于分析目的的kafka集群（stats、count、anything）。
kafka中的队列大小概念是不相关的，因为它不是一个队列而是一个日志。你可以消费，倒带，跳跃，因为你想任何偏移。
3pvhb19x2#
我认为目前不可能。您应该将kafka主题视为一个无限的数据流，因此您唯一的选择是计算使用者中已消费的消息。
您可以使用kafka偏移量监视工具，它将显示每个主题分区的日志大小（您必须总结）：http://ingest.tips/2014/10/12/kafka-high-level-consumer-frequently-missing-pieces/