如何在clickhouse中加速大查询?

n53p2ov0  于 2021-07-15  发布在  ClickHouse
关注(0)|答案(1)|浏览(594)

背景:
我在clickhouse中提交了一个本地查询(不使用缓存),它处理了41443万行,42.80gb。查询持续了100多秒。我的clickhouse示例安装在aws上 c5.9xlarge ec2带
12T st1 ebs公司
在此查询过程中 IOPS 取决于 500 阅读 throughput 取决于 20M/s . 作为比较, st1 ebs最大值 IOPS500 麦克斯呢 throughput500M/s .
我的问题是:

500 IOPS 实际上限制了我的查询(文件读取)速度(不用管缓存)我应该将ebs卷类型更改为 gp2 或者 io1 增加 IOPS ?
有什么设置可以改进吗 throughput 在相同的条件下 IOPS ? (如我所见,它离天花板很远)我试着增加 'max_block_size' 一次读取更多文件,但似乎不起作用。
如何延长缓存时间?大查询需要几分钟。缓存用了几秒钟。但缓存似乎不会持续很长时间。
我怎样才能热身栏目,以满足所有的要求?请显示SQL。

ldioqlga

ldioqlga1#

500 iops是否限制了我的查询(文件读取)速度?

我是否应该将ebs卷类型更改为gp2或io1以提高iops?

在相同的iops下,是否有任何设置可以提高吞吐量?
将最大字节调整为读取
减少列数(在select中)
减少零件数量(在选择中)
如何延长缓存时间?
最小\u合并\u字节\u使用\u直接\u io=1
我怎样才能热身栏目,以满足所有的要求?请显示SQL。 select a,b,c,d from T Format Null

相关问题