在oozie中,如果工作流中有两个作业。第一个是mapreduce,第二个是pig脚本。我们可以看到mapreduce作业的输出。如果是,那么在哪里?
wrrgggsh1#
您可以通过两种方式检查中间数据。1) 通过创建oozie shell action调用shell脚本,将临时创建的中间文件移动到不同的位置。下面是一个shell脚本,用于将文件中的所有图像移动到不同的文件夹中。请参阅此脚本。
## For all the images in a folder run through a loop
对于~/desktop/my\u pictures/*jpg do中的文件
## basename will remove the path (~/Desktop/My_pictures) and also ## remove the extension you give as a second argument
name=“$(basename”$文件.jpg)”
## create the directory, the -p means it will create ## the parent directories if needed and it won't complain ## if the directory exists.
mkdir-p~/桌面/我的图片/“$name”
## copy the file to the new directory
mv“$file”“~/desktop/my\u pictures/$name”完成
2) 删除pig操作,只运行map reduce程序(java操作)。第一个适合你的要求。
1条答案
按热度按时间wrrgggsh1#
您可以通过两种方式检查中间数据。
1) 通过创建oozie shell action调用shell脚本,将临时创建的中间文件移动到不同的位置。
下面是一个shell脚本,用于将文件中的所有图像移动到不同的文件夹中。请参阅此脚本。
对于~/desktop/my\u pictures/*jpg do中的文件
name=“$(basename”$文件.jpg)”
mkdir-p~/桌面/我的图片/“$name”
mv“$file”“~/desktop/my\u pictures/$name”完成
2) 删除pig操作,只运行map reduce程序(java操作)。
第一个适合你的要求。