我在笔记本电脑上建立了一个本地集群（伪模式）。我运行不同的mapreduce命令，比如
hadoop-streaming -D mapred.output.compress=true \
-D mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec \
-files my_mapper.py,my_reducer.py \
-mapper my_mapper.py \
-reducer my_reducer.py \
-input /aws/input/input_warc.txt \
-output /aws/output现在我必须在电子病历上运行它。有两个选项可以使用，一个是控制台，另一个是awscli。我想和上面一样跑。为此，我认为如果我ssh到emr master，那么我应该能够运行这个命令。这是一种正确的方法还是这种方法有什么缺点？
1条答案
按热度按时间yhuiod9q1#
是的，您可以ssh到集群并在那里运行作业，但也可以使用step api(http://docs.aws.amazon.com/elasticmapreduce/latest/developerguide/emr-steps.html)在主示例上运行任意命令，当然包括像您的示例那样运行分布式作业。您可以使用aws cli（“aws emr add step…”）或在创建群集时使用“aws emr create cluster…”向群集添加步骤--步骤……）或类似地使用aws sdk（如aws java sdk）或使用aws emr控制台。
step api的一些优点包括它捕获每个步骤的输出，以便您可以通过aws cli、sdk或aws控制台查看它，还可以检查步骤的状态以确定它们何时完成。
step api的一个缺点是，当前所有步骤都是按顺序运行的，因此不能有多个步骤并行运行。