我想提交一个spark作业,在hdfs上配置额外的jar,但是hadoop警告我跳过远程jar。虽然我仍然可以得到hdfs的最终结果,但是我无法获得额外的远程jar的效果。如果你能给我一些建议,我将不胜感激。
非常感谢,
root@cluster-1-m:~# hadoop fs -ls hdfs://10.146.0.4:8020/tmp/jvm-profiler-1.0.0.jar
-rwxr-xr-x 2 hdfs hadoop 7097056 2019-01-23 14:44 hdfs://10.146.0.4:8020/tmp/jvm-profiler-1.0.0.jar
root@cluster-1-m:~#/usr/lib/spark/bin/spark-submit \
--deploy-mode cluster \
--master yarn \
--conf spark.jars=hdfs://10.146.0.4:8020/tmp/jvm-profiler-1.0.0.jar \
--conf spark.driver.extraJavaOptions=-javaagent:jvm-profiler-1.0.0.jar \
--conf spark.executor.extraJavaOptions=-javaagent:jvm-profiler-1.0.0.jar \
--class com.github.ehiggs.spark.terasort.TeraSort \
/root/spark-terasort-master/target/spark-terasort-1.1-SNAPSHOT-jar-with-dependencies.jar /tmp/data/terasort_in /tmp/data/terasort_out
警告:跳过远程jarhdfs://10.146.0.4:8020/tmp/jvm-profiler-1.0.0.jar。
19/01/24 02:20:31 info org.apache.hadoop.yarn.client.rmproxy:连接到位于cluster-1-m的resourcemanager/10.146.0.4:8032
19/01/24 02:20:31 info org.apache.hadoop.yarn.client.ahsproxy:连接到cluster-1-m上的应用程序历史服务器/10.146.0.4:10200
19/01/24 02:20:34 info org.apache.hadoop.yarn.client.api.impl.yarclientimpl:已提交申请\u 1548293702222 \u 0002
暂无答案!
目前还没有任何答案,快来回答吧!