我们正在考虑在计算过程中集成apachespark,我们最初希望使用apacheoozie和标准mr或mo(仅Map)作业。经过一些研究,仍然存在几个问题:是否可以使用apacheoozie来编排apachespark进程?如果是,怎么做?oozie是必要的还是可以自己触发协调(统一似乎是spark的主要关注点之一回答时请考虑以下情况:每4小时执行一次工作流在可以访问特定数据时执行工作流触发工作流并使用参数对其进行配置提前谢谢你的回答。
30byixjq1#
spark在Oozie4.2中作为一种操作类型受到支持,请参见文档。您提到的场景是oozie的常见特性。
1条答案
按热度按时间30byixjq1#
spark在Oozie4.2中作为一种操作类型受到支持,请参见文档。您提到的场景是oozie的常见特性。