使用hadoop和java命令执行map reduce作业有什么区别

6rqinv9w  于 2021-06-04  发布在  Hadoop
关注(0)|答案(2)|浏览(435)

找到许多运行map reduce程序的选项。有谁能解释一下下面这些命令之间的区别吗。如果有的话,会对工作产生什么影响。

java -jar MyMapReduce.jar [args] 

     hadoop jar MyMapReduce.jar [args] 

     yarn jar MyMapReduce.jar [args]

在这些命令中,哪一个最好?
是否可以在web服务上正常使用web服务8088(yarn)的端口(如display hadoop和yarn命令)在下面的命令上进行配置,如显示有关使用yarn的作业的所有信息和作业历史记录(如display hadoop和yarn命令)?

java -jar MyMapReduce.jar [args]
yqyhoc1h

yqyhoc1h1#

没有一个比另一个好。当你执行 java -jar 命令,它与执行非hadoop应用程序相同。如果你使用 hadoop jar 或者 yarn jar ,它将使用 /usr/bin/hadoop 以及 /usr/bin/yarn 设置环境的脚本。
除非修改了任何脚本以设置其他变量,否则这三个脚本的工作方式应该相同。

e5njpo68

e5njpo682#

这些选项有自己的规格:

java -jar MyMapReduce.jar [args]

上面期望所有hadoopjar都在jar的类路径中定义。
万一

hadoop jar MyMapReduce.jar [args]  and 
   yarn jar MyMapReduce.jar [args]

上面的jar将通过获取那些在$hadoop\u classpath中预定义的jar来运行。

相关问题