从其他配置访问计数器时遇到问题。在java上实现map reduce时,有没有办法从不同的配置访问hadoop计数器,或者计数器是特定于配置的?
5vf7fwbs1#
计数器处于两个级别。工作级别和任务级别。如果要跟踪作业级聚合,则需要使用配置和上下文对象。例如,如果要在任务级别计数,如果要计算map方法的调用次数,可以在mapper方法中声明一个全局变量,并在调用map方法时将其递增,然后将其写入cleanup方法中的context对象。
1条答案
按热度按时间5vf7fwbs1#
计数器处于两个级别。工作级别和任务级别。
如果要跟踪作业级聚合,则需要使用配置和上下文对象。
例如,如果要在任务级别计数,如果要计算map方法的调用次数,可以在mapper方法中声明一个全局变量,并在调用map方法时将其递增,然后将其写入cleanup方法中的context对象。