pyspark流updatestatebykey不提供输出

6vl6ewon  于 2021-05-26  发布在  Spark
关注(0)|答案(0)|浏览(310)

我在一个模拟数据流上运行spark streaming,这个数据流由4个文本文件组成,其中包含一行总线信息。我的代码一直工作到应用updatestatebykey之后,它就没有输出了。我有一个键、值对(小时、延迟)的数据流,它将pprint()作为每个批的预期值,如下图所示:
键值数据流
然后,当我使用updatestatebykey时,它应该做的就是对每个批的值求和,除了初始时间戳之外,我没有得到任何输出。同样地,这个精确的代码在我同学的机器上运行得很好。
更新网站
这是正在调用的my\u state\u update函数
我的状态更新函数
有人知道是什么原因导致我的机器无法工作吗?sparkcore和sql一直运行良好。我在windows上使用spyder来运行代码,虽然我试过用pycharm和命令行来运行它,但仍然有相同的体验。任何帮助都将不胜感激。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题