amazonemr向集群添加步骤的文档说,单个弹性mapreduce步骤可以向hadoop提交多个作业。但是,amazon emr的step配置文档表明,单个步骤只能容纳hadoop-streaming.jar的一次执行(也就是说,hadoopjarstep是一个hadoopjarstepconfig,而不是一个hadoopjarstepconfig数组)。
一步向hadoop提交多个作业的正确语法是什么?
amazonemr向集群添加步骤的文档说,单个弹性mapreduce步骤可以向hadoop提交多个作业。但是,amazon emr的step配置文档表明,单个步骤只能容纳hadoop-streaming.jar的一次执行(也就是说,hadoopjarstep是一个hadoopjarstepconfig,而不是一个hadoopjarstepconfig数组)。
一步向hadoop提交多个作业的正确语法是什么?
1条答案
按热度按时间syqv5f0l1#
正如amazonemr文档所说,您可以创建一个集群来运行一些脚本
my_script.sh
在步骤中的主示例上:!/usr/bin/env bash
hadoop jar my_first_step.jar [mainClass] args... &
hadoop jar my_second_step.jar [mainClass] args... &
.
.
.
wait