spark流从jupyter笔记本运行时复制批处理

mfuanj7w  于 2021-07-14  发布在  Spark
关注(0)|答案(0)|浏览(261)

我从接收Kafka信息的jupyter笔记本上运行sparkstream。当我第一次运行它时,一切正常,但是如果我第二次运行代码段,所有批处理都会在输出中复制,就像有两个spark会话在工作一样。这很奇怪,因为我相信方法.getorcreate()会继续现有的会话,如果已有会话,则不会创建新的会话。因此,如果我第三次运行这个代码段,那么每批代码都会有三个副本,以此类推。。打印session变量时,每次运行都会得到相同的会话名称(例如org.apache.spark.sql)。sparksession@6f5fbbad). 消除重复的唯一方法是重新启动内核。当我第一次运行它的时候就可以了。请告诉我如何摆脱重复批不重新启动内核。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题