我们能在oozie工作流中看到中间输出吗

1szpjjfi  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(279)

在oozie中,如果工作流中有两个作业。第一个是mapreduce,第二个是pig脚本。我们可以看到mapreduce作业的输出。如果是,那么在哪里?

wrrgggsh

wrrgggsh1#

您可以通过两种方式检查中间数据。
1) 通过创建oozie shell action调用shell脚本,将临时创建的中间文件移动到不同的位置。
下面是一个shell脚本,用于将文件中的所有图像移动到不同的文件夹中。请参阅此脚本。


## For all the images in a folder run through a loop

对于~/desktop/my\u pictures/*jpg do中的文件


## basename will remove the path (~/Desktop/My_pictures) and also

## remove the extension you give as a second argument

name=“$(basename”$文件.jpg)”


## create the directory, the -p means it will create

## the parent directories if needed and it won't complain

## if the directory exists.

mkdir-p~/桌面/我的图片/“$name”


## copy the file to the new directory

mv“$file”“~/desktop/my\u pictures/$name”完成

2) 删除pig操作,只运行map reduce程序(java操作)。
第一个适合你的要求。

相关问题