hadoop mapreduce详细任务状态查询

piok6c0g  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(214)

我想写一个第三方前端到hadoopmapreduce需要查询一些信息和统计数据mapreduce。
现在我可以用 hadoop job 要查询作业和Map并减少完成百分比,以及计数器,例如:


# hadoop job -status job_201212170023_0127

Job: job_201212170023_0127
map() completion: 0.6342382
reduce() completion: 0.0

Counters: 28
    Job Counters 
        SLOTS_MILLIS_MAPS=4537
...

我还想要的是每个任务的编号,如工作跟踪器中的可视化所用,即:

我可以列出所有的Map绘制者。。。


# hadoop job -list-attempt-ids job_201212170023_0127 map running

attempt_201212170023_0127_m_000000_0
attempt_201212170023_0127_m_000001_0
attempt_201212170023_0127_m_000002_0
...

…但是我如何得到每项任务的百分比呢?理想情况下,我想要这样的东西:


# hadoop job -task-status attempt_201212170023_0127_m_000000_0

completion: 0.6342382
start: 2012-12-18T12:23:34Z
... etc.

当前的解决方案是刮去web界面,但是如果可以使用命令行输出,我就不喜欢这个。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题