当我将intelij用作spark应用程序的ide时,我可以在ide中运行该应用程序,但在导出该应用程序以及所有必需的依赖项后,无法运行spark submit。
获取错误消息为:
Exception in thread "main" java.lang.NoClassDefFoundError: javax/servlet/Servlet
at org.apache.spark.ui.WebUI.attachPage(WebUI.scala:80)
...
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
... 27 more
但是当我检查jar时,javax/servlet/servlet就在那里!为什么?我在hadoop、spark和hive中使用jar,而不是maven pom。这有关系吗?jar文件的大小非常大(大约200米)。
最后,请原谅我的台球英语!
暂无答案!
目前还没有任何答案,快来回答吧!