hive.tez.container.size和tez.task.resource.memory.mb之间的区别

enyaitl3  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(1276)

有没有人能告诉我,并向我解释一下这些设置之间的区别?
hive.tez.container.size和tez.task.resource.memory.mb
谢谢。

pu3pd22g

pu3pd22g1#

hive.tez.container.size配置单元
此属性指定tez容器大小。通常,此属性的值应与yarn container size yarn.scheduler.minimum-allocation-mb的值相同或是其小倍数(1或2倍),并且不应超过yarn.scheduler.maximum-allocation-mb的值。
一般来说,不要将值设置为高于每个处理器的内存,因为您希望每个容器有一个处理器,并且希望旋转多个容器。
你可以在hortonworks社区答案上找到非常详细的答案和一个很棒的架构图
tez.task.resource.memory.mb
tez容器中已启动任务使用的内存量。通常这个值是在dag中设置的,但是如果不是这样,那么默认情况下它将被设置为1024mb。
dag中的所有任务都将具有相同的大小,这有助于容器重用,也有助于提高性能。

相关问题