kafka流:nosuchmethoderror:org.apache.kafka.clients.admin.adminclientconfig.< init>

tkclm6bt  于 2021-07-13  发布在  Spark
关注(0)|答案(0)|浏览(380)

我正在创建一个Kafka主题Kafka流。但是,当我使用spark submit运行应用程序时,出现以下错误。
我听说这是因为 kafka-clients 依赖,但我已经在pom中包含了这种依赖。

ERROR SparkSubmit$$anon$2: org.apache.kafka.clients.admin.AdminClientConfig.<init>(Ljava/util/Map;Z)V
java.lang.NoSuchMethodError: org.apache.kafka.clients.admin.AdminClientConfig.<init>(Ljava/util/Map;Z)V
    at org.apache.kafka.clients.admin.Admin.create(Admin.java:71)
    at org.apache.kafka.streams.processor.internals.DefaultKafkaClientSupplier.getAdmin(DefaultKafkaClientSupplier.java:41)
    at org.apache.kafka.streams.KafkaStreams.<init>(KafkaStreams.java:766)
    at org.apache.kafka.streams.KafkaStreams.<init>(KafkaStreams.java:659)
    at org.apache.kafka.streams.KafkaStreams.<init>(KafkaStreams.java:569)
    at HdfsWriter.main(HdfsWriter.java:106)
...
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:947)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

pom.xml文件:

<dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-streams</artifactId>
            <version>2.3.0</version>
        </dependency>
        <dependency>
            <groupId>io.confluent</groupId>
            <artifactId>kafka-schema-registry-client</artifactId>
            <version>5.3.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>2.3.0</version>
        </dependency>
``` `spark-submit` :

spark-submit --master yarn --deploy-mode client --queue my_q --driver-memory 4g --executor-memory 8g --num-executors 12 --executor-cores 5 --conf spark.yarn.executor.memoryOverhead=2g --conf spark.driver.maxResultSize=12g --jars /path/log4j-1.2.17.jar,/path/kafka-clients-2.7.0.jar,/path/kafka-streams-2.7.0.jar --class HdfsWriter /path/hdfs-writer-1.0-SNAPSHOT.jar

我也试着建立一个 `fat jar` 在jar中使用 `maven-assembly-plugin` 以及 `maven-shade-plugin` ,但错误仍然存在。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题