clickhouse kafka表引擎与许多消费者

lymgl2op  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(523)

我计划用clickhouse做一些测试,通过使用以下方法将我的kafka主题吸收到summingmergetree中:https://clickhouse.yandex/docs/en/table_engines/kafka/
对于我在dev env上的测试,我并不害怕数量,但在生产环境中,我们已经在使用这些主题,我们必须让许多消费者能够以最快的速度阅读消息。我的问题是:在clickhouse上有没有一种方法可以让许多Kafka消费者在一张table上使用Kafka引擎?
谢谢,
罗马式

dw1jzc5e

dw1jzc5e1#

在阅读文档时,似乎 num_consumers 中的参数 Kafka 发动机正是您所需要的:
num\u consumers–每个表的使用者数。默认值:1。如果一个使用者的吞吐量不足,请指定更多使用者。使用者的总数不应超过主题中的分区数,因为每个分区只能分配一个使用者。

相关问题