cloudera中10个或更多查询并行执行的性能问题

hjzp0vay  于 2021-06-26  发布在  Hive
关注(0)|答案(0)|浏览(281)

我在同一个表的不同列上并行执行10个或更多select查询,抛出我的应用程序,然后一个查询需要2到3分钟。如果我的查询计数小于或等于5,那么并行执行每个查询需要24秒。我正在使用cloudera-5.14.2。和Hive数据库。我尝试了下面的解决方案,但无法提高性能。
1-特兹:

set hive.execution.engine=tez;

2-矢量化:

set hive.vectorized.execution.enabled = true;
set hive.vectorized.execution.reduce.enabled = true;

3-基于成本的查询优化:

set hive.cbo.enable=true;
set hive.compute.query.using.stats=true;
set hive.stats.fetch.column.stats=true;
set hive.stats.fetch.partition.stats=true;
set hive.stats.autogather=true;

有什么方法可以提高hive中并行执行的性能吗。什么是hive的并行执行流。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题