Spark流与Kafka积分

uxhixvfz  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(495)

我是apachespark的新手,我一直在做一个与twitter数据情绪分析相关的项目,涉及spark流媒体和kafka集成。我一直在关注github代码(下面提供了链接)
https://github.com/sridharswamy/twitter-sentiment-analysis-using-spark-streaming-and-kafka 但是,在最后一个阶段,也就是kafka与apachespark的集成过程中,出现了以下错误

py4j.protocol.Py4JError: An error occurred while calling o24.createDirectStreamWithoutMessageHandler. Trace:
py4j.Py4JException: Method createDirectStreamWithoutMessageHandler([class org.apache.spark.streaming.api.java.JavaStreamingContext, class java.util.HashMap, class java.util.HashSet, class java.util.HashMap]) does not exist
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318)
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326)
    at py4j.Gateway.invoke(Gateway.java:272)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:214)
    at java.lang.Thread.run(Thread.java:745)

使用的命令: bin/spark-submit --packages org.apache.spark:spark-streaming-kafka_2.10:1.5.1 twitterStream.py apachespark版本:spark-2.1.0-bin-hadoop2.4
Kafka版本:Kafka2.11-0.10.1.1
我还没有能够调试这个和任何帮助将不胜感激。

qhhrdooz

qhhrdooz1#

您尝试运行的示例是为在spark 1.5中运行而设计的。您应该下载spark 1.5或运行 spark-submit 来自spark 2.1.0,但带有与2.1.0相关的kafka包,例如: ./bin/spark-submit --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.1.0 .

相关问题