hadoopjar和yarn-jar的区别

ddhy6vgd  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(533)

用命令“hadoopjar”和“yarn-jar”运行jar文件有什么区别?
我在mac上成功地使用了“hadoopjar”命令,但是我想确保在我的四个内核上执行是正确的和并行的。
谢谢!!!

wecizke3

wecizke31#

简短的回答
它们对您来说可能是相同的,但即使不是,它们也应该尽可能地利用您的集群。
更长的答案
这个 /usr/bin/yarn 脚本设置执行环境,以便可以运行所有的yarn命令。这个 /usr/bin/hadoop 脚本不太关心特定于Yarn的功能。但是,如果您将集群设置为使用yarn作为mapreduce(mrv2)的默认实现,那么 hadoop jar 可能会和 yarn jar 为了一份mapreduce的工作。
无论哪种方式,您都可能很好,但是您可以始终检查资源管理器(或作业跟踪器)web界面,以查看作业是如何分布在集群中的(无论它是否为单节点集群)

相关问题