我尝试在spark项目中运行简单的Kafka示例。
spark构建正确，所以我可以运行大多数示例，除了这个kafka示例。
当我运行以下命令时：
bin/run-example streaming.JavaDirectKafkaWordCount localhost:9092 test我得到以下错误：
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/streaming/kafka010/LocationStrategies你知道我们怎样才能正确运用Kafka的例子吗？
（kafka客户端在端口上运行） 9092 . 使用最新的spark、kafka和Java8）
1条答案
按热度按时间kqlmhetl1#
在我的项目中，我终于把Kafka和spark连接起来了。我意识到，使用
localspark脚本中的模式在开发过程中非常有用。更容易调试和实践。您可以在此处找到一个详细的停靠实现：https://github.com/zoltan-nz/kafka-spark-project
相关说明：https://github.com/zoltan-nz/kafka-spark-project/blob/master/sparkstreamer/readme.md#experiment-06---使用本地