如何提高clickhouse kafka consumer的性能

dphi5xsq 于 2021-07-15 发布在 ClickHouse

关注(0)|答案(1)|浏览(768)

我有一个关于9个分区的kafka主题，即使我使用9个消费者，并且将流间隔设置为1秒，我仍然没有看到机器的资源投入太多精力，cpu甚至低于10%（对于8核，16gbami）。
我应该尝试修改其他属性吗？提前谢谢。

clickhouse olap

来源：https://stackoverflow.com/questions/59100961/how-to-improve-performance-on-clickhouse-kafka-consumer

1条答案

按热度按时间

whlutmcx1#

我找到了问题的来源，流式轮询超时和刷新间隔。
一旦我将以下内容添加到users.xml并重新启动，摄取率就会显著增加

<stream_poll_timeout_ms>5000</stream_poll_timeout_ms>
        <stream_flush_interval_ms>1500</stream_flush_interval_ms>
        <max_streams_to_max_threads_ratio>4</max_streams_to_max_threads_ratio>

赞(0）回复(0）举报 2021-07-15

我来回答

如何提高clickhouse kafka consumer的性能

1条答案

相关问题

热门标签

最新问答