线程“streaming start”java.lang.nosuchmethoderror中出现异常:org.apache.kafka.clients.consumer.kafkaconsumer.subscribe(ljava/util/collection;)v

dluptydi  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(558)

提交spark申请时,出现以下错误:
线程“streaming start”java.lang.nosuchmethoderror中出现异常:
org.apache.kafka.clients.consumer.kafkaconsumer.subscribe(ljava/util/collection;)v
浏览了以下网址:http://apache-spark-developers-list.1001551.n3.nabble.com/testing-the-kafka-0-10-connector-td17956.html
设置以下环境变量: SPARK_KAFKA_VERSION=0.10 添加了以下依赖项:

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
  <version>2.1.0.cloudera1</version>
</dependency>

添加了以下jar:spark-streaming-kafka-0-10-assembly\u 2.11.jar
我使用的版本:
Spark-2.0.2
斯卡拉-2.11
Kafka-0.10
一段代码:

val CLASS_NAME = this.getClass
val log = org.apache.log4j.LogManager.getLogger(CLASS_NAME)

非常感谢你的帮助。

c3frrgcw

c3frrgcw1#

尝试设置:
导出spark\u kafka\u版本=0.10

相关问题