如果我们可以直接使用apache spark,为什么要使用apache beam spark runner?

c0vxltue  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(471)

我在读关于Apache光束的书。在Apache光束中穿过各种各样的跑步者。但我想知道,如果有人可以直接使用apachespark,为什么要使用apachebeam和sparkrunner呢?

puruo6ea

puruo6ea1#

因为 Apache Beam 是统一的、可移植的和可扩展的,它实现了在任何执行引擎上运行的批处理和流数据处理作业。这意味着您可以只为流式处理和批处理作业编写一个代码,而不依赖于执行平台

相关问题