hive中推荐的优化技术有哪些?

ylamdve6  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(362)

好吧,我知道一些优化技术,比如在编写查询时分区和bucketing。在tez模式下运行Hive。但是,除此之外,还有任何其他优化技术,在Hive里。

hgb9j2n6

hgb9j2n61#

您至少可以为性能选项设置以下参数imization:- set set hive.exec.reducers.max=no_of_reducers; --用于并行处理的减速器数量。 set hive.exec.reducers.bytes.per.reducer=value_in_bytes; --平均分配每个减速机的加工负荷。 set hive.auto.convert.join=true; --如果可能,在运行时自动将联接转换为mapjoins, set hive.enforce.bucketing = true; --如果表是bucked,您需要写入此参数,buckets的数量将等于reducer的数量。

ecr0jaav

ecr0jaav2#

有许多技巧:
使用tez
使用orcfile
使用矢量化
基于代价的查询优化
编写正确有效的sql
详情请参阅以下hortonworks帖子:
http://hortonworks.com/blog/5-ways-make-hive-queries-run-faster/

相关问题