我想在hadoopYarn集群模式下运行spark作业,我使用以下命令:
spark-submit --master yarn-cluster
--driver-memory 1g
--executor-memory 1g
--executor-cores 1
--class com.dc.analysis.jobs.AggregationJob
sparkanalitic.jar param1 param2 param3
我得到下面的错误,请建议有什么问题,是命令正确与否。我正在使用cdh 5.3.1。
Diagnostics: Application application_1424284032717_0066 failed 2 times due
to AM Container for appattempt_1424284032717_0066_000002 exited with
exitCode: 15 due to: Exception from container-launch.
Container id: container_1424284032717_0066_02_000001
Exit code: 15
Stack trace: ExitCodeException exitCode=15:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)
at org.apache.hadoop.util.Shell.run(Shell.java:455)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702)
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:197)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:299)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)
at java.util.concurrent.FutureTask.run(FutureTask.java:262)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
Container exited with a non-zero exit code 15
.Failing this attempt.. Failing the application.
ApplicationMaster host: N/A
ApplicationMaster RPC port: -1
queue: root.hdfs
start time: 1424699723648
final status: FAILED
tracking URL: http://myhostname:8088/cluster/app/application_1424284032717_0066
user: hdfs
2015-02-23 19:26:04 DEBUG Client - stopping client from cache: org.apache.hadoop.ipc.Client@4085f1ac
2015-02-23 19:26:04 DEBUG Utils - Shutdown hook called
2015-02-23 19:26:05 DEBUG Utils - Shutdown hook called
任何帮助都将不胜感激。
5条答案
按热度按时间wko9yo5t1#
这可能意味着很多事情,对我们来说,我们得到类似的错误消息,因为不受支持的java类版本,我们通过删除项目中引用的java类修复了这个问题。
使用此命令可查看详细的错误消息:
o75abkj42#
对于我来说,退出代码问题通过放置
hive-site.xml
在spark/conf
目录。0qx6xfy63#
您应该删除代码中的“.setmaster”(“local”)”。
uz75evzq4#
命令看起来是正确的。
我遇到的是,“退出代码15”通常表示tablenotfound异常。这通常意味着您提交的代码中有错误。
您可以通过访问跟踪url来检查这一点。
eblbsuwk5#
拆下管路
"spark.master":"local[*]
“如果您正在群集下运行spark作业,则在spark配置文件中。假设在本地pc上运行,包括它。
马尼