每当我从齐柏林飞艇上运行spark作业时,它就会卡住,一直运行到2.5-3小时,然后在那之后,我就得到了下面提到的一个错误。
java.lang.nullpointerexception位于org.apache.thrift.transport.tsocket.open(tsocket。java:170)在org.apache.zeppelin.interpreter.remote.clientfactory.create(clientfactory。java:51)在org.apache.zeppelin.interpreter.remote.clientfactory.create(clientfactory。java:37)在org.apache.commons.pool2.basepooledobjectfactory.makeobject(basepooledobjectfactory)。java:60)在org.apache.commons.pool2.impl.genericobjectpool.create(genericobjectpool。java:861)
我还面临一个错误,一些spark作业继续运行,我需要从hue终止会话并运行sc.stop()停止spark上下文,然后我需要重新启动spark解释器来继续运行作业。
我面对这个问题,只有在Spark工作,他们不断地陷入困境,从来没有完成。
上面提到的dspark.executor.memory=8g-dspark.cores.max=16“是齐柏林飞艇中的spark配置。
我能做些什么来摆脱spark任务挂起和zeppelin会话不终止自己的优雅,每次我需要杀死会话和重新启动spark解释器。
pfb my spark解释程序配置------>
SPARK_HOME /lib/spark2/
args
master yarn-client
spark.app.name Zeppelin
spark.cores.max
spark.executor.memory
spark.yarn.keytab
spark.yarn.principal
zeppelin.R.cmd R
zeppelin.R.image.width 100%
zeppelin.R.knitr true
zeppelin.R.render.options out.format = 'html', comment = NA,
echo = FALSE, results = 'asis', message = F, warning = F
zeppelin.dep.additionalRemoteRepository spark-packages,
http://dl.bintray.com/spark-packages/maven,false;
zeppelin.dep.localrepo local-repo
zeppelin.interpreter.localRepo loc_of_local_repo
zeppelin.interpreter.output.limit 102400
zeppelin.pyspark.python python
zeppelin.pyspark.useIPython true
zeppelin.spark.concurrentSQL false
zeppelin.spark.enableSupportedVersionCheck true
zeppelin.spark.importImplicit true
zeppelin.spark.keytab loc_of_keytab
zeppelin.spark.maxResult 1000
zeppelin.spark.principal kerberos zeppelinl@realm
zeppelin.spark.printREPLOutput true
zeppelin.spark.sql.interpolation false
zeppelin.spark.sql.stacktrace false
zeppelin.spark.ui.hidden false
zeppelin.spark.uiWebUrl
zeppelin.spark.useHiveContext true
zeppelin.spark.useNew true
暂无答案!
目前还没有任何答案,快来回答吧!