有状态和无状态流(spark)

mwg9r5ms  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(490)

我知道有状态和无状态流进程之间的区别。我读到风暴是无状态的,而三叉戟是有状态的。我还了解到hadoop(用于批处理)是有状态的,spark可以计算有状态的操作。
有人能澄清一下吗?明确地,
spark可以同时执行有状态和无状态操作吗?
hadoop是有状态的,这意味着什么呢?因为在hadoop方面我们只讨论批处理。
apachestorm如何处理有状态流(使用三叉戟?)

8ftvxx2r

8ftvxx2r1#

1-yes spark有状态和无状态操作mapwithstate有状态流处理
有关更多信息,请参阅https://databricks.com/blog/2016/02/01/faster-stateful-stream-processing-in-apache-spark-streaming.html
2-hadoop是有状态的,因为它只读取一次

相关问题