我创建了一个spark应用程序来与kafka集成，并从kafka获取数据流。但是，当我尝试导入org.apache.spark.streaming.kafka时，出现了一个无法解析符号kafka的错误，那么我应该怎么导入这个库呢
blmhpbnm1#
根据您的spark和scala版本，您需要将spark-kafka集成库包含到您的依赖项中。
如果您计划使用spark结构化流媒体，则需要将以下内容添加到您的依赖项中，如下所述：对于使用sbt/maven项目定义的scala/java应用程序，请使用以下构件链接您的应用程序：
groupId = org.apache.spark artifactId = spark-sql-kafka-0-10_2.12 version = 3.0.1
请注意，要使用headers功能，您的kafka客户端版本应为0.11.0.0或更高版本。对于python应用程序，在部署应用程序时需要添加上述库及其依赖项。请参阅下面的部署小节。为了在sparkshell上进行实验，您需要在调用sparkshell时添加上述库及其依赖项。另外，请参阅下面的部署小节。
如果您计划使用spark streaming（direct api），您可以遵循此处给出的指导：对于使用sbt/maven项目定义的scala/java应用程序，请使用以下工件链接流应用程序（有关更多信息，请参阅主编程指南中的链接部分）。
groupId = org.apache.spark artifactId = spark-streaming-kafka-0-10_2.12 version = 3.0.1
1条答案
按热度按时间blmhpbnm1#
根据您的spark和scala版本，您需要将spark-kafka集成库包含到您的依赖项中。
spark结构化流媒体
如果您计划使用spark结构化流媒体，则需要将以下内容添加到您的依赖项中，如下所述：
对于使用sbt/maven项目定义的scala/java应用程序，请使用以下构件链接您的应用程序：
请注意，要使用headers功能，您的kafka客户端版本应为0.11.0.0或更高版本。对于python应用程序，在部署应用程序时需要添加上述库及其依赖项。请参阅下面的部署小节。为了在sparkshell上进行实验，您需要在调用sparkshell时添加上述库及其依赖项。另外，请参阅下面的部署小节。
Spark流
如果您计划使用spark streaming（direct api），您可以遵循此处给出的指导：
对于使用sbt/maven项目定义的scala/java应用程序，请使用以下工件链接流应用程序（有关更多信息，请参阅主编程指南中的链接部分）。