我正在尝试在hadoop集群中运行spark应用程序。在集群中运行的spark版本是1.3.1。在集群中打包和运行spark应用程序时,我得到了如下所示的错误。我也看了其他帖子,好像我搞乱了库的依赖关系,但搞不清楚是什么!
以下是其他可能有助于你们帮助我的信息:
hadoop-版本:
Hadoop 2.7.1.2.3.0.0-2557
Subversion git@github.com:hortonworks/hadoop.git -r 9f17d40a0f2046d217b2bff90ad6e2fc7e41f5e1
Compiled by jenkins on 2015-07-14T13:08Z
Compiled with protoc 2.5.0
From source with checksum 54f9bbb4492f92975e84e390599b881d
This command was run using /usr/hdp/2.3.0.0-2557/hadoop/lib/hadoop-common-2.7.1.2.3.0.0-2557.jar
错误堆栈:
java.lang.NoSuchMethodError: org.apache.spark.sql.hive.HiveContext: method <init>(Lorg/apache/spark/api/java/JavaSparkContext;)V not found
at com.cyber.app.cyberspark_app.main.Main.main(Main.java:163)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:497)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:577)
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:174)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:197)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:112)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
我的pom.xml如下所示:
<build>
<plugins>
<plugin>
<artifactId>maven-assembly-plugin</artifactId>
<configuration>
<archive>
<manifest>
<mainClass>path.to.my.main.Main</mainClass>
</manifest>
</archive>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
</configuration>
<executions>
<execution>
<id>make-assembly</id> <!-- this is used for inheritance merges -->
<phase>package</phase> <!-- bind to the packaging phase -->
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>3.8.1</version>
<scope>test</scope>
</dependency>
<dependency> <!-- Spark dependency -->
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>1.3.1</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>1.6.1</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-hive_2.11</artifactId>
<version>1.6.1</version>
<scope>provided</scope>
</dependency>
</dependencies>
我正在使用“mvn包”来打包我的jar。
编辑:
我试着把所有的版本都改成1.3.1。如果我做了这个更改,我需要更改我的应用程序,因为我正在使用1.3.1之后提供的功能。
但是如果我把所有的1.6.1版本都放在scalaèu2.10下编译,我会得到同样的错误。
请让我知道如果我需要提供任何额外的信息。任何帮助都将不胜感激。
谢谢您。
1条答案
按热度按时间vatpfxk51#
可能是二进制兼容性问题。
首先,确保所有spark依赖项都在spark 1.3.1上。我看到您必须在1.6.1上使用sparksql。
其次,您使用的是Scala2.11上编译的spark。Spark的典型分布仅在2.10中编译。通常,如果您想要2.11版本,您需要自己编译spark。
如果您不确定集群上运行的spark是否是用scala编译的,我会将所有依赖项更改为使用“2.10”而不是“2.11”,然后重试。