如何提交hadoopstreaming作业并使用hadoop2.x检查执行历史

9fkzdhlc  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(577)

我是hadoop的新手。在hadoop1.x中,我可以从主节点提交hadoopstreaming作业,并从namenodeweb检查结果和执行时间。
以下是hadoop 1.x中hadoop流的示例代码:

$HADOOP_HOME/bin/hadoop  jar $HADOOP_HOME/hadoop-streaming.jar \
-input myInputDirs \
-output myOutputDir \
-mapper /bin/cat \
-reducer /bin/wc

但是,在hadoop2.x中,作业跟踪器被删除。如何在Hadoop2.x中获得相同的功能?

0dxa2lsx

0dxa2lsx1#

在hadoop2.0中,可以用多种方式查看作业
1) 从resourcemanager ui resourcemnage查看作业rhostname:8088/cluster
2) 从hue-hueserverhostname查看作业。com:8888/jobbrowser/
3) 从命令行(作业完成后)
用法:yarn logs-applicationid[options]
常规选项为:-appowner appowner(如果未指定,则假定为当前用户)-containerid containerid(如果指定了节点地址,则必须指定)-格式为的nodeaddress nodeaddressnodename:port (如果指定了容器id,则必须指定)示例:Yarn日志-applicationid application\u 1414530900704\u 0005

相关问题