如何并行执行多个pig脚本‏?

djp7away 于 2021-06-03 发布在 Hadoop

关注(0)|答案(2)|浏览(361)

我有多个pig脚本，目前正在使用命令pig-xmapreduce/path/to/script/script1.pig&&&/path/to/script/script2.pig&&&/path/to/script/script3.pig按顺序执行它
现在，我正在寻找并行执行这些脚本来提高性能，因为它们彼此独立。我试着去寻找，但没有找到确切的答案。
那么有没有什么方法可以让我并行地执行所有的pig脚本呢？

hadoop apache-pig

来源：https://stackoverflow.com/questions/17785551/how-to-execute-multiple-pig-scripts-parallely

2条答案

按热度按时间

kqlmhetl1#

您应该能够使用apacheooziehttp://oozie.apache.org/

赞(0）回复(0）举报 2021-06-04

ugmeyewa2#


# !/bin/bash

pig -x mapreduce /path/to/Script/Script1.pig &
pig -x mapreduce /path/to/Script/Script2.pig &
pig -x mapreduce /path/to/Script/Script3.pig &

wait
echo "Done!"

赞(0）回复(0）举报 2021-06-04

我来回答

如何并行执行多个pig脚本‏?

2条答案

相关问题

热门标签

最新问答