无法从jar文件加载主类

pprl5pva 于 2021-05-29 发布在 Hadoop

关注(0)|答案(2)|浏览(517)

我有一个应用程序spark scala，我试图显示一个简单的消息“你好，我的应用程序”。当我用sbt编译它时，compile it's fine，我也用sbt run it's fine运行它，我成功地显示了我的消息，但他显示了一个错误；这样地：

Hello my application!
16/11/27 15:17:11 ERROR Utils: uncaught error in thread SparkListenerBus,   stopping SparkContext
        java.lang.InterruptedException
     ERROR ContextCleaner: Error in cleaning thread
    java.lang.InterruptedException
     at org.apache.spark.ContextCleaner$$anon$1.run(ContextCleaner.scala:67)
    16/11/27 15:17:11 INFO SparkUI: Stopped Spark web UI at http://10.0.2.15:4040
    [success] Total time: 13 s, completed Nov 27, 2016 3:17:12 PM
    16/11/27 15:17:12 INFO DiskBlockManager: Shutdown hook called

我不明白，没关系！另外，当我尝试在运行后加载文件jar时，他还显示了一个错误：
我的命令行看起来像：

spark-submit "appfilms" --master local[4] target/scala-2.11/system-of-recommandation_2.11-1.0.jar

错误是：

Error: Cannot load main class from JAR file:/root/projectFilms/appfilms
Run with --help for usage help or --verbose for debug output
16/11/27 15:24:11 INFO Utils: Shutdown hook called

请你回答我！

hadoop scala apache-spark sbt

来源：https://stackoverflow.com/questions/40830638/cannot-load-main-class-from-jar-file

2条答案

按热度按时间

5n0oy7gb1#

您忘了使用--class参数spark submit“appfilms”--master local[4]target/scala-2.11/system-of-recommendation\u 2.11-1.0.jar
spark submit--“appfilms”类--master local[4]target/scala-2.11/system-of-recommendation_2.11-1.0.jar。
请注意，如果appfilm属于任何软件包，请不要忘记添加以下软件包名称packagename.appfilms
我相信这就足够了

赞(0）回复(0）举报 2021-05-30

nhjlsmyf2#

这个错误是由于sparkcontext没有停止，这在高于spark2.x的版本中是必需的。应停止此操作，以防止出现此错误 SparkContext.stop() ，或 sc.stop() . 解决这个错误的灵感来自于自己的经验和以下来源：spark上下文、spark侦听器总线错误

赞(0）回复(0）举报 2021-05-30