目前，我们正在使用apachenifi通过kafka消费者消费消息。Kafka消费者的输出连接到Hive处理器。
我正在研究如何在nifi集群上运行kafka消费者示例。
我有3个nifi集群节点和一个kafka主题，kafka主题有3个分区，我希望kafka消费者能够在每个节点上运行，这样每个消费者都可以从一个主题分区轮询消息。
启动kafka消费处理器后，我只能看到kafka消费处理器总是在单个节点上运行，而不是在所有节点上运行。
有什么配置我遗漏了吗？
目前，我们正在使用apachenifi通过kafka消费者消费消息。Kafka消费者的输出连接到Hive处理器。
我正在研究如何在nifi集群上运行kafka消费者示例。
我有3个nifi集群节点和一个kafka主题，kafka主题有3个分区，我希望kafka消费者能够在每个节点上运行，这样每个消费者都可以从一个主题分区轮询消息。
启动kafka消费处理器后，我只能看到kafka消费处理器总是在单个节点上运行，而不是在所有节点上运行。
有什么配置我遗漏了吗？
1条答案
按热度按时间cuxqih211#
nifi使用apachekafka客户机，它执行对分区的使用者分配。当启动处理器时，假设将其设置为1个并发任务，那么集群的每个节点上应该有1个使用者，并且每个使用者应该被分配一个不同的分区。
https://bryanbende.com/development/2016/09/15/apache-nifi-and-apache-kafka