spark解释器在齐柏林飞艇中不起作用

kcwpcxri  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(473)

我正在使用齐柏林飞艇0.7.0运行spark作业。我的齐柏林飞艇是一个独立的安装,而spark是使用hortonworks/ambari(2.6版)安装的。当我检查ambari中spark的状态时,它都是绿色的。对许多口译员来说,齐柏林飞艇运行得也很好。但是spark解释器不工作。任何我想做的事,甚至像 sc.version 给出了完全相同的错误:

java.lang.NullPointerException
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33)
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:652)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:483)
    at org.apache.zeppelin.scheduler.Job.run(Job.java:175)
    at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

这个错误发生得非常出乎意料。spark解释器一直工作正常,直到几周前这个错误突然出现。我重新启动了spark和齐柏林飞艇,但错误依然存在。齐柏林飞艇和spark的配置文件都没有发生任何变化。

uelo1irk

uelo1irk1#

我和齐柏林飞艇也有同样的问题,而且我的翻译设置也解决了。
转到解释器,搜索并选择spark Interpreter 单击“编辑并添加” name 以及 value 作为 zeppelin.spark.useHiveContext = false 希望这能奏效!

nhjlsmyf

nhjlsmyf2#

请进一步检查解释器日志,您看到的错误是由于创建sparkcontext失败造成的,您需要检查日志以了解sparkcontext创建失败的原因。

相关问题