ZeppelinSpark的工作陷入困境,无法自行终止

a9wyjsp7  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(426)

每当我从齐柏林飞艇上运行spark作业时,它就会卡住,一直运行到2.5-3小时,然后在那之后,我就得到了下面提到的一个错误。
java.lang.nullpointerexception位于org.apache.thrift.transport.tsocket.open(tsocket。java:170)在org.apache.zeppelin.interpreter.remote.clientfactory.create(clientfactory。java:51)在org.apache.zeppelin.interpreter.remote.clientfactory.create(clientfactory。java:37)在org.apache.commons.pool2.basepooledobjectfactory.makeobject(basepooledobjectfactory)。java:60)在org.apache.commons.pool2.impl.genericobjectpool.create(genericobjectpool。java:861)
我还面临一个错误,一些spark作业继续运行,我需要从hue终止会话并运行sc.stop()停止spark上下文,然后我需要重新启动spark解释器来继续运行作业。
我面对这个问题,只有在Spark工作,他们不断地陷入困境,从来没有完成。
上面提到的dspark.executor.memory=8g-dspark.cores.max=16“是齐柏林飞艇中的spark配置。
我能做些什么来摆脱spark任务挂起和zeppelin会话不终止自己的优雅,每次我需要杀死会话和重新启动spark解释器。
pfb my spark解释程序配置------>

SPARK_HOME                                         /lib/spark2/
args    
master                                             yarn-client
spark.app.name                                     Zeppelin
spark.cores.max 
spark.executor.memory   
spark.yarn.keytab   
spark.yarn.principal    
zeppelin.R.cmd                                     R
zeppelin.R.image.width                             100%
zeppelin.R.knitr                                   true
zeppelin.R.render.options                      out.format = 'html', comment = NA, 
                         echo = FALSE, results = 'asis', message = F, warning = F
zeppelin.dep.additionalRemoteRepository            spark-packages, 
                                http://dl.bintray.com/spark-packages/maven,false;
zeppelin.dep.localrepo                             local-repo
zeppelin.interpreter.localRepo                     loc_of_local_repo
zeppelin.interpreter.output.limit                  102400
zeppelin.pyspark.python                            python
zeppelin.pyspark.useIPython                        true
zeppelin.spark.concurrentSQL                       false
zeppelin.spark.enableSupportedVersionCheck         true
zeppelin.spark.importImplicit                      true
zeppelin.spark.keytab                              loc_of_keytab
zeppelin.spark.maxResult                           1000
zeppelin.spark.principal                           kerberos zeppelinl@realm
zeppelin.spark.printREPLOutput                     true
zeppelin.spark.sql.interpolation                   false
zeppelin.spark.sql.stacktrace                      false
zeppelin.spark.ui.hidden                           false
zeppelin.spark.uiWebUrl 
zeppelin.spark.useHiveContext                      true
zeppelin.spark.useNew                              true

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题