我在一个模拟数据流上运行spark streaming,这个数据流由4个文本文件组成,其中包含一行总线信息。我的代码一直工作到应用updatestatebykey之后,它就没有输出了。我有一个键、值对(小时、延迟)的数据流,它将pprint()作为每个批的预期值,如下图所示:
键值数据流
然后,当我使用updatestatebykey时,它应该做的就是对每个批的值求和,除了初始时间戳之外,我没有得到任何输出。同样地,这个精确的代码在我同学的机器上运行得很好。
更新网站
这是正在调用的my\u state\u update函数
我的状态更新函数
有人知道是什么原因导致我的机器无法工作吗?sparkcore和sql一直运行良好。我在windows上使用spyder来运行代码,虽然我试过用pycharm和命令行来运行它,但仍然有相同的体验。任何帮助都将不胜感激。
暂无答案!
目前还没有任何答案,快来回答吧!