impala并发查询延迟

dzjeubhm  于 2021-06-26  发布在  Impala
关注(0)|答案(1)|浏览(335)

我的群集配置如下:
3节点集群
每个群集节点128gb ram。
处理器:每个群集节点16核超线程。所有3个节点都有kudu主服务器、t服务器和impala服务器,其中一个节点有impala目录和impala statestore。
我的问题如下:
1) 在运行并发查询时,我很难理解impala中的动态资源池。我试过给你一个极限,但还是不走运。我也尝试过静态服务池,但也无法实现所需的并发性。即使使用许可控制,也无法实现所需的并发性。

I) The time taken for 1 query: 500-800ms.

 II) But if 10 concurrent queries are given the time taken grows to 3-6s per query.

 III) But if more than 20 concurrent queries are given the time taken is exceeding 10s per query.

2) 我的一个集群节点在提交查询后没有承担负载,我通过查询摘要对此进行了检查。我试过在不承担负载的节点上将num_节点设置为0和1,但是,摘要显示该节点不承担负载。

vsmadaxz

vsmadaxz1#

table有多大?表格里有多少行?table是分区的吗?如果您能将您的配置与impala基准进行比较,那就太好了
如上所述,impala设计用于在大规模并行处理基础设施上运行。如果我们设置了10个节点(80个核)和160个虚拟核(12 tb san存储),那么5个并发用户的计算时间可以达到60秒。

相关问题