我正在创建一个Kafka主题Kafka流。但是,当我使用spark submit运行应用程序时,出现以下错误。
我听说这是因为 kafka-clients
依赖,但我已经在pom中包含了这种依赖。
ERROR SparkSubmit$$anon$2: org.apache.kafka.clients.admin.AdminClientConfig.<init>(Ljava/util/Map;Z)V
java.lang.NoSuchMethodError: org.apache.kafka.clients.admin.AdminClientConfig.<init>(Ljava/util/Map;Z)V
at org.apache.kafka.clients.admin.Admin.create(Admin.java:71)
at org.apache.kafka.streams.processor.internals.DefaultKafkaClientSupplier.getAdmin(DefaultKafkaClientSupplier.java:41)
at org.apache.kafka.streams.KafkaStreams.<init>(KafkaStreams.java:766)
at org.apache.kafka.streams.KafkaStreams.<init>(KafkaStreams.java:659)
at org.apache.kafka.streams.KafkaStreams.<init>(KafkaStreams.java:569)
at HdfsWriter.main(HdfsWriter.java:106)
...
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:947)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
pom.xml文件:
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-streams</artifactId>
<version>2.3.0</version>
</dependency>
<dependency>
<groupId>io.confluent</groupId>
<artifactId>kafka-schema-registry-client</artifactId>
<version>5.3.0</version>
</dependency>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>2.3.0</version>
</dependency>
``` `spark-submit` :
spark-submit --master yarn --deploy-mode client --queue my_q --driver-memory 4g --executor-memory 8g --num-executors 12 --executor-cores 5 --conf spark.yarn.executor.memoryOverhead=2g --conf spark.driver.maxResultSize=12g --jars /path/log4j-1.2.17.jar,/path/kafka-clients-2.7.0.jar,/path/kafka-streams-2.7.0.jar --class HdfsWriter /path/hdfs-writer-1.0-SNAPSHOT.jar
我也试着建立一个 `fat jar` 在jar中使用 `maven-assembly-plugin` 以及 `maven-shade-plugin` ,但错误仍然存在。
暂无答案!
目前还没有任何答案,快来回答吧!