我是大数据领域的新手，我需要制作一个演示，使用spark stream对Kafka主题中的数据进行流处理，然后进行一些聚合和过滤，然后保存这些数据。我使用的是spark 2.3，我需要知道spark stream kafka的哪个版本必须使用spark-2.3文档中的0.8或10->
https://spark.apache.org/docs/2.3.0/streaming-kafka-integration.html 提一下
0.8已弃用，10已稳定，但在streaming-kafka-0-10-integration中->
https://spark.apache.org/docs/2.3.0/streaming-kafka-0-10-integration.html
提到0.8是稳定的，10是实验性的，我用的是Kafka2.1。
那我该用哪一个呢
2条答案
按热度按时间k3fezbri1#
我用的是Kafka2.1。
然后您应该使用spark的0.10kafkaapi，主要是因为有了新的consumerapi，如该页所述。
如果升级到spark 2.4，则同一个库升级为使用kafka 2.0库，但它们的名称保持为0.10-spark-18057
kkih6yb82#
版本0.8是稳定的，但Kafka不提供此版本的技术支持。我想，你应该继续用最新的版本。