我正在使用齐柏林飞艇0.7.0运行spark作业。我的齐柏林飞艇是一个独立的安装,而spark是使用hortonworks/ambari(2.6版)安装的。当我检查ambari中spark的状态时,它都是绿色的。对许多口译员来说,齐柏林飞艇运行得也很好。但是spark解释器不工作。任何我想做的事,甚至像 sc.version
给出了完全相同的错误:
java.lang.NullPointerException
at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)
at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33)
at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:652)
at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:483)
at org.apache.zeppelin.scheduler.Job.run(Job.java:175)
at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
这个错误发生得非常出乎意料。spark解释器一直工作正常,直到几周前这个错误突然出现。我重新启动了spark和齐柏林飞艇,但错误依然存在。齐柏林飞艇和spark的配置文件都没有发生任何变化。
2条答案
按热度按时间uelo1irk1#
我和齐柏林飞艇也有同样的问题,而且我的翻译设置也解决了。
转到解释器,搜索并选择spark
Interpreter
单击“编辑并添加”name
以及value
作为zeppelin.spark.useHiveContext = false
希望这能奏效!nhjlsmyf2#
请进一步检查解释器日志,您看到的错误是由于创建sparkcontext失败造成的,您需要检查日志以了解sparkcontext创建失败的原因。