hadoop在内部试图找到jobjar,要做到这一点,必须将作业的类打包到jobjar中。所以setjar()和setjarbyclass()只做这些。 参见《hadoop:权威指南》,第4版,作者:tom white 首先,作业的类必须打包到作业jar文件中才能发送到集群。hadoop将通过在驱动程序的类路径上搜索包含setjarbyclass()方法(在jobconf或job上)中设置的类的jar来自动找到作业jar。或者,如果要通过文件路径设置显式jar文件,可以使用setjar()方法(jar文件路径可以是本地的,也可以是hdfs文件路径。)
1条答案
按热度按时间tjvv9vkg1#
hadoop在内部试图找到jobjar,要做到这一点,必须将作业的类打包到jobjar中。所以setjar()和setjarbyclass()只做这些。
参见《hadoop:权威指南》,第4版,作者:tom white
首先,作业的类必须打包到作业jar文件中才能发送到集群。hadoop将通过在驱动程序的类路径上搜索包含setjarbyclass()方法(在jobconf或job上)中设置的类的jar来自动找到作业jar。或者,如果要通过文件路径设置显式jar文件,可以使用setjar()方法(jar文件路径可以是本地的,也可以是hdfs文件路径。)