tez容器是在Yarn容器内部运行,还是代替Yarn容器?

4ngedf3f  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(545)

我在emr上运行hive+tez,我想弄清楚tez是如何与yarn交互的。
我在这篇文章中读到:
将tez.am.resource.memory.mb设置为与yarn.scheduler.minimum-allocation-mb(yarn最小容器大小)相同
将hive.tez.container.size设置为与yarn container size yarn.scheduler.minimum-allocation-mb相同或小的倍数(1或2倍),但不能超过yarn.scheduler.maximum-allocation-mb。你想要有足够的空间让多个容器旋转起来。
这听起来像是tez容器与yarn容器是分开配置的。是真的吗?从一般文档来看,似乎tez是Yarn容器的替代品,这意味着您可以设置tez容器大小,并且可以忽略原来的Yarn容器大小。
简而言之:tez容器是在Yarn容器内部运行,还是tez容器代替Yarn容器运行?

wooyq4lh

wooyq4lh1#

是的,tez-site.xml是独立的。因为没有它,tez就不知道如何独立运行。
tez更像是mapreduce的替代品,而不是Yarn
如果你运行一个tez作业,它会显示在yarn ui中。
因此,一个tez容器(任务的一部分)被分配到一个yarn-tez作业中(运行一个由tez容器组成的yarn容器集合)

相关问题