我目前正在开发一组map reduce任务,这些任务必须按特定顺序运行。我希望使用oozie来管理这个工作流的依赖关系和运行。不过,我需要一个关键特性,而且我找不到任何文档表明这是可能的。基本上,我正在寻找一种方法来设置一个动作,检查它的输出文件是否比输入文件(以及相关的map reduce代码)更新,然后再执行这个动作。如果是这样,它将跳过执行操作。这样,我就可以对脚本进行更改,只运行工作流的那个阶段(以及任何依赖于其输出的阶段)。有人知道我会怎么做吗?
ikfrs5lh1#
在oozie中使用shell操作怎么样?在oozie中,您可以运行一个shell脚本,该脚本实际检查所定义文件内容的差异。当这个动作成功后,转到Map上的红色动作,继续你的工作,否则,转到失败的情况,杀死你的工作。希望这个想法能帮助你,如果这是你正在寻找的
1条答案
按热度按时间ikfrs5lh1#
在oozie中使用shell操作怎么样?在oozie中,您可以运行一个shell脚本,该脚本实际检查所定义文件内容的差异。当这个动作成功后,转到Map上的红色动作,继续你的工作,否则,转到失败的情况,杀死你的工作。
希望这个想法能帮助你,如果这是你正在寻找的