完全错误:
线程“main”java.lang.nosuchmethoderror中出现异常:scala.predef$.refarrayops([ljava/lang/object;)[ljava/lang/object;在org.spark\u module.sparkmodule$.main(sparkmodule。scala:62)位于org.spark_module.sparkmodule.main(sparkmodule.scala)的sun.reflect.nativemethodaccessorimpl.invoke0(本机方法)的sun.reflect.nativemethodaccessorimpl.invoke(本机方法)。java:62)在sun.reflect.delegatingmethodaccessorimpl.invoke(delegatingmethodaccessorimpl。java:43) 在java.lang.reflect.method.invoke(方法。java:498)在org.apache.spark.deploy.javamainapplication.start(sparkapplication。scala:52)在org.apache.spark.deploy.sparksubmit.org$apache$spark$deploy$sparksubmit$$runmain(sparksubmit)。scala:845)在org.apache.spark.deploy.sparksubmit.dorunmain$1(sparksubmit。scala:161)在org.apache.spark.deploy.sparksubmit.submit(sparksubmit。scala:184)在org.apache.spark.deploy.sparksubmit.dosubmit(sparksubmit。scala:86)在org.apache.spark.deploy.sparksubmit$$anon$2.dosubmit(sparksubmit。scala:920)位于org.apache.spark.deploy.sparksubmit$.main(sparksubmit.com)。scala:929)位于org.apache.spark.deploy.sparksubmit.main(sparksubmit.scala)
当我在intellij中编译和运行代码时,它一直都能很好地执行。当我将.jar作为spark作业(运行时)提交时,会显示错误。
第62行包含: for ((elem, i) <- args.zipWithIndex)
. 我注解掉了代码的其余部分以确保,错误一直显示在那一行。
一开始我以为是的 zipWithIndex
是他的错。然后我把它换了 for (elem <- args)
你猜怎么着,错误仍然存在。是 for
是什么原因造成的?
google搜索总是指出scala版本在编译时使用的版本和运行时使用的版本之间不兼容,但我找不出解决方案。
我试着检查intellij使用的scala版本,下面是modules>scala下与scala相关的所有内容:
然后我检查了scala的运行时版本,结果是:
(文件:/c:/users/me/.gradle/caches/modules-2/files-2.1/org.scala-lang/scala-library/2.12.11/1a0634714a956c1aae9abec83acaf6d4eabfa7d/scala-library-2.12.11.jar)
版本似乎匹配。。。
这是我的gradle.build(包括 fatJar
任务)
group 'org.spark_module'
version '1.0-SNAPSHOT'
apply plugin: 'scala'
apply plugin: 'idea'
apply plugin: 'eclipse'
repositories {
mavenCentral()
}
idea {
project {
jdkName = '1.8'
languageLevel = '1.8'
}
}
dependencies {
implementation group: 'org.scala-lang', name: 'scala-library', version: '2.12.11'
implementation group: 'org.apache.spark', name: 'spark-core_2.12'//, version: '2.4.5'
implementation group: 'org.apache.spark', name: 'spark-sql_2.12'//, version: '2.4.5'
implementation group: 'com.datastax.spark', name: 'spark-cassandra-connector_2.12', version: '2.5.0'
implementation group: 'org.apache.spark', name: 'spark-mllib_2.12', version: '2.4.5'
implementation group: 'log4j', name: 'log4j', version: '1.2.17'
implementation group: 'org.scalaj', name: 'scalaj-http_2.12', version: '2.4.2'
}
task fatJar(type: Jar) {
zip64 true
from {
configurations.runtimeClasspath.collect { it.isDirectory() ? it : zipTree(it) }
} {
exclude "META-INF/*.SF"
exclude "META-INF/*.DSA"
exclude "META-INF/*.RSA"
}
manifest {
attributes 'Main-Class': 'org.spark_module.SparkModule'
}
with jar
}
configurations.all {
resolutionStrategy {
force 'com.google.guava:guava:12.0.1'
}
}
compileScala.targetCompatibility = "1.8"
compileScala.sourceCompatibility = "1.8"
jar {
zip64 true
getArchiveFileName()
from {
configurations.compile.collect {
it.isDirectory() ? it : zipTree(it)
}
}
manifest {
attributes 'Main-Class': 'org.spark_module.SparkModule'
}
exclude 'META-INF/*.RSA', 'META-INF/*.SF', 'META-INF/*.DSA'
}
要构建(fat)jar:
gradlew fatJar
在intellij的终端。
要运行作业:
spark-submit.cmd .\SparkModule-1.0-SNAPSHOT.jar
在windows powershell中。
谢谢您
编辑:
spark-submit.cmd和spark-shell.cmd都显示scala版本2.11.12,所以是的,它们与我在intellij(2.12.11)中使用的版本不同。问题是,在spark的下载页面中,Scala2.12只有一个spark发行版,而且没有hadoop;这是否意味着我的gradle.build必须从2.12降到2.11?
1条答案
按热度按时间thigvfpy1#
我会努力的
spark-submit --version
想知道什么scala version
正在使用spark
与spark-submit --version
我得到这个信息从
spark-shell
你可以试试看scala version
```scala> util.Properties.versionString
res3: String = version 2.11.8
[cloudera@quickstart scala-programming-for-data-science]$ scala -version
Scala code runner version 2.12.8 -- Copyright 2002-2018, LAMP/EPFL and Lightbend, Inc.