我计划用clickhouse做一些测试,通过使用以下方法将我的kafka主题吸收到summingmergetree中:https://clickhouse.yandex/docs/en/table_engines/kafka/
对于我在dev env上的测试,我并不害怕数量,但在生产环境中,我们已经在使用这些主题,我们必须让许多消费者能够以最快的速度阅读消息。我的问题是:在clickhouse上有没有一种方法可以让许多Kafka消费者在一张table上使用Kafka引擎?
谢谢,
罗马式
我计划用clickhouse做一些测试,通过使用以下方法将我的kafka主题吸收到summingmergetree中:https://clickhouse.yandex/docs/en/table_engines/kafka/
对于我在dev env上的测试,我并不害怕数量,但在生产环境中,我们已经在使用这些主题,我们必须让许多消费者能够以最快的速度阅读消息。我的问题是:在clickhouse上有没有一种方法可以让许多Kafka消费者在一张table上使用Kafka引擎?
谢谢,
罗马式
1条答案
按热度按时间dw1jzc5e1#
在阅读文档时,似乎
num_consumers
中的参数Kafka
发动机正是您所需要的:num\u consumers–每个表的使用者数。默认值:1。如果一个使用者的吞吐量不足,请指定更多使用者。使用者的总数不应超过主题中的分区数,因为每个分区只能分配一个使用者。