可供下载的Kafka的最新版本是Kafka2.1.0。但是为了在spark流媒体或spark结构化流媒体中使用kafka，我们分别使用以下连接器：
spark-streaming-kafka-0-10_2.11
spark-sql-kafka-0-10_2.11我的问题是，似乎连接器是Kafka版本0.10.0.0，因为连接器的名称包括0-10。这里有什么我不明白的，或者我们真的在使用Kafka的旧版本的连接器吗？
可供下载的Kafka的最新版本是Kafka2.1.0。但是为了在spark流媒体或spark结构化流媒体中使用kafka，我们分别使用以下连接器：
spark-streaming-kafka-0-10_2.11
spark-sql-kafka-0-10_2.11我的问题是，似乎连接器是Kafka版本0.10.0.0，因为连接器的名称包括0-10。这里有什么我不明白的，或者我们真的在使用Kafka的旧版本的连接器吗？
1条答案
按热度按时间3lxsmp7m1#
对于spark structure streaming 2.4，使用kafka client 2.0。
0-10表示它与0.10或更高版本的kafka brokers兼容。
你可以办理入住手续
pom.xml在spark项目中：https://github.com/apache/spark/blob/branch-2.4/external/kafka-0-10-sql/pom.xml#l33