spark应用程序在spark上下文初始化之前退出,返回“error root:eap#5:application configuration file is missing”

u7up0aaq  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(378)

我正在尝试执行一个spark作业,使用下面的spark submit命令-
spark submit--class package.classname--queue queuename--executor cores 2--master yarn--deploy mode cluster--executor memory 8g--num executors 20--driver memory 10g--conf“spark.yarn.executor.memoryoverhead=3g”--conf“spark.投机=true”--conf“spark.network.timeout=600”--conf“spark.rpc.asktimeo“spark.executor.heartbeatinterval=120s”---conf“spark.driver.extrajavaoptions=-dlog4j.configuration=log4j spark.properties”---conf“spark.executor.extrajavaoptions=-dlog4j.configuration=log4j spark.properties”--conf“spark.root.logger=all,console”--conf“spark.hadoop.validateoutputspecs=false”--conf“spark.driver.extraclasspath=/home/tumulusr/spark defaults.conf”--files/etc/spark2/2.6.4.0-91/0/hive site.xml、config/ibnext.properties、config/hive.properties、config/mongo.properties、config/error.properties/home/tumulusr/pn.jar
应用程序被接受,但很快退出,并出现以下错误:
错误根:eap#5:应用程序配置文件缺少信息applicationmaster:最终应用程序状态:失败,退出代码:16,(原因:在报告最终状态之前调用了shutdown hook。)info applicationmaster:注销applicationmaster失败(diag消息:在报告最终状态之前调用了shutdown hook。)info applicationmaster:删除暂存目录(具有应用程序id的目录路径)info shutdownhookmanager:调用了shutdown hook
我的命令有什么遗漏吗?

qvtsj1bj

qvtsj1bj1#

你能试试下面的方法吗

export SPARK_MAJOR_VERSION=2;export HADOOP_CONF_DIR=**/hadoop/conf/path**; spark-submit

相关问题