如何获取Map器输出字节计数器

z3yyvxxp  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(332)

我将不确定数量的map reduce作业链接在一起,以实现并行bfs最短路径算法,当路径无法确定时,我的作业将无限循环而不生成任何记录。我认为最好的检查方法是获取hadoop维护的map output bytes计数器。
我怎样才能进入这个柜台?

igetnqfo

igetnqfo1#

要获取作业生成的Map输出字节计数器,请使用

long outputBytes = job.getCounters().findCounter("org.apache.hadoop.mapred.Task$Counter", "MAP_OUTPUT_BYTES").getValue();

看到了吗http://lintool.github.io/cloud9/docs/content/counters.html 有关更多计数器组和名称

相关问题