您至少可以为性能选项设置以下参数imization:- set set hive.exec.reducers.max=no_of_reducers; --用于并行处理的减速器数量。 set hive.exec.reducers.bytes.per.reducer=value_in_bytes; --平均分配每个减速机的加工负荷。 set hive.auto.convert.join=true; --如果可能,在运行时自动将联接转换为mapjoins, set hive.enforce.bucketing = true; --如果表是bucked,您需要写入此参数,buckets的数量将等于reducer的数量。
2条答案
按热度按时间hgb9j2n61#
您至少可以为性能选项设置以下参数imization:-
set set hive.exec.reducers.max=no_of_reducers;
--用于并行处理的减速器数量。set hive.exec.reducers.bytes.per.reducer=value_in_bytes;
--平均分配每个减速机的加工负荷。set hive.auto.convert.join=true;
--如果可能,在运行时自动将联接转换为mapjoins,set hive.enforce.bucketing = true;
--如果表是bucked,您需要写入此参数,buckets的数量将等于reducer的数量。ecr0jaav2#
有许多技巧:
使用tez
使用orcfile
使用矢量化
基于代价的查询优化
编写正确有效的sql
详情请参阅以下hortonworks帖子:
http://hortonworks.com/blog/5-ways-make-hive-queries-run-faster/