提交spark申请时,出现以下错误:
线程“streaming start”java.lang.nosuchmethoderror中出现异常:
org.apache.kafka.clients.consumer.kafkaconsumer.subscribe(ljava/util/collection;)v
浏览了以下网址:http://apache-spark-developers-list.1001551.n3.nabble.com/testing-the-kafka-0-10-connector-td17956.html
设置以下环境变量: SPARK_KAFKA_VERSION=0.10
添加了以下依赖项:
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
<version>2.1.0.cloudera1</version>
</dependency>
添加了以下jar:spark-streaming-kafka-0-10-assembly\u 2.11.jar
我使用的版本:
Spark-2.0.2
斯卡拉-2.11
Kafka-0.10
一段代码:
val CLASS_NAME = this.getClass
val log = org.apache.log4j.LogManager.getLogger(CLASS_NAME)
非常感谢你的帮助。
1条答案
按热度按时间c3frrgcw1#
尝试设置:
导出spark\u kafka\u版本=0.10