java—在hadoop中运行map reduce jar的替代方法

llew8vvj  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(416)

我知道 hadoop jar 命令用于在hadoop中运行map reduce jar,但有一个 setJar(String jar) 中的方法 Job map reduce api的类。api文档的这一页提到 Jar 作为作业类的参数。
因此,我想知道除了 hadoop jar ,以及这个setjar()方法的角色是什么。
任何帮助都会很好。tia:)

tjvv9vkg

tjvv9vkg1#

hadoop在内部试图找到jobjar,要做到这一点,必须将作业的类打包到jobjar中。所以setjar()和setjarbyclass()只做这些。
参见《hadoop:权威指南》,第4版,作者:tom white
首先,作业的类必须打包到作业jar文件中才能发送到集群。hadoop将通过在驱动程序的类路径上搜索包含setjarbyclass()方法(在jobconf或job上)中设置的类的jar来自动找到作业jar。或者,如果要通过文件路径设置显式jar文件,可以使用setjar()方法(jar文件路径可以是本地的,也可以是hdfs文件路径。)

相关问题