在tezllap上运行hive时,yarn服务(hadoopv3)和slider(hadoopv2)之间有什么变化吗?

hec6srdp  于 2021-05-27  发布在  Hadoop
关注(0)|答案(0)|浏览(158)
SELECT id
FROM example_table
WHERE time >= '2020-12-01'
AND time < '2020-12-03';

当hive在llap上用tez执行引擎执行一个简单的select语句时,
为什么hadoopv3(yarn服务)和hadoopv2(apacheslider)中的reducer数量不同?
在这种情况下,Yarn服务(v3)的减速机数量比滑块(v2)的减速机数量多100个。
每个版本的Yarn容器和tez异径管的内存设置也是相同的(例如hive.exec.reducers.max,hive.exec.reducers.bytes.per.reducers..)
奇怪的是,如果在v3中以容器模式而不是llap模式运行它,那么减速机的数量会像v2一样减少。
yarn服务(hadoopv3)和slider(hadoopv2)之间是否有内存分配的变化?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题