在mapreduce中访问hadoop计数器

cngwdvgl  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(418)

从其他配置访问计数器时遇到问题。在java上实现map reduce时,有没有办法从不同的配置访问hadoop计数器,或者计数器是特定于配置的?

5vf7fwbs

5vf7fwbs1#

计数器处于两个级别。工作级别和任务级别。
如果要跟踪作业级聚合,则需要使用配置和上下文对象。
例如,如果要在任务级别计数,如果要计算map方法的调用次数,可以在mapper方法中声明一个全局变量,并在调用map方法时将其递增,然后将其写入cleanup方法中的context对象。

相关问题