如何使emr保持运行

i34xakig  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(340)

这个问题在这里已经有答案了

8年前关门了。
可能重复:
重用amazon弹性mapreduce示例
我是否可以保持已启动的emr集群运行并不断向其提交新作业,直到完成(比如几天后),然后关闭集群,或者我是否必须在ec2中创建自己的集群才能这样做?

disbfnqx

disbfnqx1#

对。
特别是,我使用cli客户机。以下是我的一个脚本中的一个片段:

JOBFLOW_ID=`elastic-mapreduce --create --alive --name cluster --num-instances $
COUNT --hadoop-version 0.20.205 --ami-version 2.0 --plain-output --debug --log-uri $LOG_
URI`

echo "Launched --jobflow $JOBFLOW_ID"

elastic-mapreduce -j $JOBFLOW_ID --ssh

您可以使用-j--term终止,使用--ssh向主机发出cli命令。在devguide中甚至有一个页面(您应该仔细阅读)关于添加超过256个步骤(在已经启动的示例上完成),所以这并不是一个很大的问题。

相关问题