使用apacheoozie编排apachespark

cx6n0qe3  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(278)

我们正在考虑在计算过程中集成apachespark,我们最初希望使用apacheoozie和标准mr或mo(仅Map)作业。
经过一些研究,仍然存在几个问题:
是否可以使用apacheoozie来编排apachespark进程?如果是,怎么做?
oozie是必要的还是可以自己触发协调(统一似乎是spark的主要关注点之一
回答时请考虑以下情况:
每4小时执行一次工作流
在可以访问特定数据时执行工作流
触发工作流并使用参数对其进行配置
提前谢谢你的回答。

30byixjq

30byixjq1#

spark在Oozie4.2中作为一种操作类型受到支持,请参见文档。您提到的场景是oozie的常见特性。

相关问题