aws emr中的hadoop:关闭终端会杀死hadoop工作吗?

mv1qrgav  于 2021-06-04  发布在  Hadoop
关注(0)|答案(2)|浏览(365)

关闭终端或关闭计算机而不终止hadoop工作安全吗?
我正在通过amazon的ElasticMapReduce上的集群运行hadoop作业。我打开了我的终端,在那里我通过ssh连接到我的主节点。当我试图关闭终端时,我得到一个警告,所有进程都将被终止。这会不会也毁了我的hadoop工作?或者我可以关闭我的电脑和ssh后再次?我需要一个特殊的工具(比如tmux)来做这个吗?
如果有关系的话,我会使用默认值( bin/bash )ubuntu13.10中的终端。我是从一个Pig剧本开始工作的。

hc8w905p

hc8w905p1#

关闭终端不会终止已经启动的作业,您还可以从的jobtracker public url public dns查看作业状态-cluster:9100/jobtacker.jsp.

lawou6xi

lawou6xi2#

不,你可以愉快地杀死终端。mapreduce作业正在emr群集上运行,并将继续运行。您可以回来,登录到主节点并检查 lynx http://localhost:9100 随时获取jotracker状态。
要终止hadoop作业,必须运行以下命令 hadoop job -kill jobflowid .
所以,关键点是-您可以随时登录到jobtracker并查看作业的状态。还要注意,jobtracker的端口地址9100在emr集群上是默认的。
干杯。。

相关问题