如何在内存加速器的gridgain中获得hadoop内置计数器?

6psbrbz9  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(415)

使用gridgain加速器运行mapreduce作业时,是否可以获取hadoop计数器?我可以使用我制作的自定义计数器,但似乎没有内置hadoop的计数器。
下面是我用来打印计数器的一些代码:

  1. Counters counters = job.getCounters();
  2. for (CounterGroup group : counters) {
  3. System.out.println("Group: " + group.getDisplayName() + "," + group.getName());
  4. System.out.println(" number of counters: " + group.size());
  5. for (Counter counter : group) {
  6. System.out.println(" - " + counter.getDisplayName() + ": " + counter.getName() + ": "+counter.getValue());
  7. }
  8. }

谢谢关注!!!

bq9c1y66

bq9c1y661#

在gridgain hadoop加速器中,您得到的计数器是空的,因为gg在自己的map reduce引擎(而不是hadoop引擎)中运行作业,所以内置hadoop计数器不可用。hadoop org.apache.hadoop.mapred.localjobrunner有map reduce进度计数器,但在gg map reduce引擎中没有实现map reduce作业进度计数器。你可以提交一张引燃项目的罚单(https://issues.apache.org/jira/browse/ignite)为了实现这一点。

相关问题