我已经阅读了来自hortonworks的apachehadoopYarn手册,其中解释了运行Yarn任务的两种方法。
我的意图是运行一个shell脚本(它编译并运行各种java和python脚本),并为各种文件夹运行一组这些脚本/补丁。一个简单的比喻:“解压100个文件夹并记录它们的'l'”
现在假设我想并行化这个流,这样一个容器可以运行1-2个文件夹,假设我需要50个这样的容器。
如何使用分布式shell来实现这一点?我见过ls/whoami/uptime/hostname的例子,但这不是我想要的。我想运行一个脚本,它接受/迭代参数路径,我想在yarn上以分布式方式运行。有什么帮助吗?
暂无答案!
目前还没有任何答案,快来回答吧!