我在amazon emr上有大约400个Yarn应用程序，我分20批运行。像这样： for i in seq 20; do spark-submit --master yarn <other arguments> &; done 我希望这个过程完全自动化，因此希望以编程方式捕获任何故障日志。我知道如果我们有applicationid，可以通过以下命令查看应用程序日志： yarn logs -applicationId <applicationId> 但是，我无法找到如何将applicationid链接到相应的spark submit命令。
假设上面（1.）中的命令提交20 spark-submit 一次有3个工作失败了，我怎么知道是哪一个 spark-submit 命令失败？有没有一种方法可以通过编程方式检索每个应用程序的applicationid spark-submit 命令输入（1.）并利用（2.）获取相应的日志？