导入org.apache.spark.streaming.kafka\无法解析符号kafka

nhn9ugyo  于 2021-05-24  发布在  Spark
关注(0)|答案(1)|浏览(933)

我创建了一个spark应用程序来与kafka集成,并从kafka获取数据流。
但是,当我尝试导入org.apache.spark.streaming.kafka时,出现了一个无法解析符号kafka的错误,那么我应该怎么导入这个库呢

blmhpbnm

blmhpbnm1#

根据您的spark和scala版本,您需要将spark-kafka集成库包含到您的依赖项中。

spark结构化流媒体

如果您计划使用spark结构化流媒体,则需要将以下内容添加到您的依赖项中,如下所述:
对于使用sbt/maven项目定义的scala/java应用程序,请使用以下构件链接您的应用程序:

groupId = org.apache.spark
artifactId = spark-sql-kafka-0-10_2.12
version = 3.0.1

请注意,要使用headers功能,您的kafka客户端版本应为0.11.0.0或更高版本。对于python应用程序,在部署应用程序时需要添加上述库及其依赖项。请参阅下面的部署小节。为了在sparkshell上进行实验,您需要在调用sparkshell时添加上述库及其依赖项。另外,请参阅下面的部署小节。

Spark流

如果您计划使用spark streaming(direct api),您可以遵循此处给出的指导:
对于使用sbt/maven项目定义的scala/java应用程序,请使用以下工件链接流应用程序(有关更多信息,请参阅主编程指南中的链接部分)。

groupId = org.apache.spark
artifactId = spark-streaming-kafka-0-10_2.12
version = 3.0.1

相关问题