我创建了一个spark应用程序来与kafka集成,并从kafka获取数据流。但是,当我尝试导入org.apache.spark.streaming.kafka时,出现了一个无法解析符号kafka的错误,那么我应该怎么导入这个库呢
blmhpbnm1#
根据您的spark和scala版本,您需要将spark-kafka集成库包含到您的依赖项中。
如果您计划使用spark结构化流媒体,则需要将以下内容添加到您的依赖项中,如下所述:对于使用sbt/maven项目定义的scala/java应用程序,请使用以下构件链接您的应用程序:
groupId = org.apache.spark artifactId = spark-sql-kafka-0-10_2.12 version = 3.0.1
请注意,要使用headers功能,您的kafka客户端版本应为0.11.0.0或更高版本。对于python应用程序,在部署应用程序时需要添加上述库及其依赖项。请参阅下面的部署小节。为了在sparkshell上进行实验,您需要在调用sparkshell时添加上述库及其依赖项。另外,请参阅下面的部署小节。
如果您计划使用spark streaming(direct api),您可以遵循此处给出的指导:对于使用sbt/maven项目定义的scala/java应用程序,请使用以下工件链接流应用程序(有关更多信息,请参阅主编程指南中的链接部分)。
groupId = org.apache.spark artifactId = spark-streaming-kafka-0-10_2.12 version = 3.0.1
1条答案
按热度按时间blmhpbnm1#
根据您的spark和scala版本,您需要将spark-kafka集成库包含到您的依赖项中。
spark结构化流媒体
如果您计划使用spark结构化流媒体,则需要将以下内容添加到您的依赖项中,如下所述:
对于使用sbt/maven项目定义的scala/java应用程序,请使用以下构件链接您的应用程序:
请注意,要使用headers功能,您的kafka客户端版本应为0.11.0.0或更高版本。对于python应用程序,在部署应用程序时需要添加上述库及其依赖项。请参阅下面的部署小节。为了在sparkshell上进行实验,您需要在调用sparkshell时添加上述库及其依赖项。另外,请参阅下面的部署小节。
Spark流
如果您计划使用spark streaming(direct api),您可以遵循此处给出的指导:
对于使用sbt/maven项目定义的scala/java应用程序,请使用以下工件链接流应用程序(有关更多信息,请参阅主编程指南中的链接部分)。