hive查询使用太多的缩减器运行

u4vypkhs  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(343)

最近我们已经从hadoop2.0.0-cdh4.2.1升级到hadoop2.6.0-cdh5.4.2。现在我们使用的是hive 1.1.0-cdh5.4.2。
当我运行一个简单的配置单元查询时,它使用了太多的减速机,在以前的版本中,它使用了120个减速机,在新版本中,它使用了1100个减速机。
有人能告诉我为什么会这样吗?
提前谢谢。

6uxekuva

6uxekuva1#

缩减器的数量由配置单元决定,取决于分配的字节数或使用的查询类型(使用count和just select*)。更多信息请看这里。在这里

相关问题