在向spark cluster提交工作时，我面临着完全相同的问题@阿尔伯特第二个解决方案对我有用。我使用elastic search 2.4.0客户端作为依赖项，因此我找到了2.4.0的替代着色jar：

<!-- https://mvnrepository.com/artifact/org.elasticsearch/elasticsearch -->
<dependency>
    <groupId>org.elasticsearch</groupId>
    <artifactId>elasticsearch</artifactId>
    <version>2.4.0-atlassian-shaded-1</version>
</dependency>

在使用Yarn、Spark和SparkCassandra连接器时，如何解决Guava11.0.2和16.0之间的冲突？工作正常。你只需要设置 spark.driver.userClassPathFirst 至 true .

使用spark提交选项：

spark-submit --jars path_to/guava-18.0.jar,.. \
--conf spark.driver.extraClassPath=guava-18.0.jar \
--conf spark.executor.extraClassPath=guava-18.0.jar  \
...

我也遇到了同样的问题，我可以通过将“guava-16.0.1.jar”添加到“--addjars”属性并设置sparkconf.set（“spark.driver.extraclasspath”，“guava-16.0.1.jar”）来解决这个问题；因为“spark.driver.extraclasspath”条目将在驱动程序的类路径之前，所以您上传的guava.jar将覆盖hadoop的guava.jar。

SparkConf sparkConf = new SparkConf().setAppName("YarnResource").setMaster("yarn-cluster").set("spark.driver.extraClassPath", "guava-16.0.1.jar");
List<String> argList = new ArrayList<>();
int argIndex = 0;
argList.add(argIndex++, "--addJars");
argList.add(argIndex++, "/home/myuser/myapp/lib/guava-16.0.1.jar"); 
String[] sparkArgArray = argList.toArray(new String[argList.size()]);
ClientArguments cArgs = new ClientArguments(sparkArgArray, sparkConf);
// create an instance of yarn Client client
Client client = new Client(cArgs, hadoopConfig, sparkConf);

问题是elasticsearch和spark都使用guava，但版本不同：es使用18.0，spark使用14.0。
因此，在pom.xml中，您可以尝试排除spark使用的旧版本：

<dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core</artifactId>
        <version>1.6.0</version>
        <exclusions>
            <exclusion>
                <groupId>com.google.guava</groupId>
                <artifactId>guava</artifactId>
            </exclusion>
        </exclusions>
    </dependency>

或者使用博客文章中描述的方法：https://www.elastic.co/blog/to-shade-or-not-to-shade