我想写一个第三方前端到hadoopmapreduce需要查询一些信息和统计数据mapreduce。
现在我可以用 hadoop job
要查询作业和Map并减少完成百分比,以及计数器,例如:
# hadoop job -status job_201212170023_0127
Job: job_201212170023_0127
map() completion: 0.6342382
reduce() completion: 0.0
Counters: 28
Job Counters
SLOTS_MILLIS_MAPS=4537
...
我还想要的是每个任务的编号,如工作跟踪器中的可视化所用,即:
我可以列出所有的Map绘制者。。。
# hadoop job -list-attempt-ids job_201212170023_0127 map running
attempt_201212170023_0127_m_000000_0
attempt_201212170023_0127_m_000001_0
attempt_201212170023_0127_m_000002_0
...
…但是我如何得到每项任务的百分比呢?理想情况下,我想要这样的东西:
# hadoop job -task-status attempt_201212170023_0127_m_000000_0
completion: 0.6342382
start: 2012-12-18T12:23:34Z
... etc.
当前的解决方案是刮去web界面,但是如果可以使用命令行输出,我就不喜欢这个。
暂无答案!
目前还没有任何答案,快来回答吧!