oozie make-like行为

wbrvyc0a  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(248)

我目前正在开发一组map reduce任务,这些任务必须按特定顺序运行。我希望使用oozie来管理这个工作流的依赖关系和运行。不过,我需要一个关键特性,而且我找不到任何文档表明这是可能的。
基本上,我正在寻找一种方法来设置一个动作,检查它的输出文件是否比输入文件(以及相关的map reduce代码)更新,然后再执行这个动作。如果是这样,它将跳过执行操作。这样,我就可以对脚本进行更改,只运行工作流的那个阶段(以及任何依赖于其输出的阶段)。
有人知道我会怎么做吗?

ikfrs5lh

ikfrs5lh1#

在oozie中使用shell操作怎么样?在oozie中,您可以运行一个shell脚本,该脚本实际检查所定义文件内容的差异。当这个动作成功后,转到Map上的红色动作,继续你的工作,否则,转到失败的情况,杀死你的工作。
希望这个想法能帮助你,如果这是你正在寻找的

相关问题