现在我有两个hadoop作业需要链接在一起。一个是mapred job(旧api),另一个是mapreduce job(新api),这是因为我们为这两个作业使用了外部库。
我想知道是否有一个很好的方法来连锁这两个工作。
我试过一种方法(首先用jobclient.runjob()运行Map的作业,在它完成后再运行第二种方法。)但是我在将此作业提交到hadoop clustor时遇到了一个问题。如果我关闭本地终端,那么只有第一个作业会运行,第二个作业不会运行。这是因为java代码是在本地运行的,所以有好的解决方案吗?然后我可以将整个作业提交到集群,本地程序不需要继续运行。
暂无答案!
目前还没有任何答案,快来回答吧!