spark+kafka积分错误noclassdeffounderror:org/apache/spark/sql/internal/connector/simpletableprovider

7eumitmz 于 2021-05-29 发布在 Spark

关注(0)|答案(1)|浏览(635)

我正在使用Kafka2.5.0和spark 3.0.0。我想把Kafka的一些数据导入spark。下面的代码片段为我提供了一个erorr：

spark.readStream.format("kafka").option("kafka.bootstrap.servers", "localhost:9092").option("subscribe", "topic1").load()

我得到的错误是

java.lang.NoClassDefFoundError: org/apache/spark/sql/internal/connector/SimpleTableProvider

1条答案

此错误主要是由于引发Kafka依赖冲突。
如果还没有，您可以在maven存储库中检查支持scala的版本。
如果错误仍在发生，那么您可以共享更多详细信息，如groupid、artifactid以及版本。