我最近被要求加快mapreduce项目的进度。我试图查看log4j日志信息,该信息是在实现以下功能的类的“map”方法中生成的: org.apache.hadoop.mapred.Mapper
在这个类中有以下方法:
@Override
public void configure( .. ) { .. }
public static void doCompileAndAdd( .. ) { .. }
public void map( .. ) { .. }
日志信息可用于configure方法和 doCompileAndAdd
方法(从configure方法调用);但是,没有显示“map”方法的日志信息。
我也试过简单地使用 System.out.println( .. )
在map方法中没有成功。
有没有人能帮助我们弄清楚这个问题?
谢谢,特莱克斯
1条答案
按热度按时间6yoyoihd1#
由于Map器类实际上是在集群中跨节点分布的任务中运行的,因此这些任务的标准输出出现在每个任务的单独日志中。查看这些日志的最简单方法是转到集群的job tracker页面,通常在
http://namenode:50030/jobtracker.jsp
. 在那里,您可以选择作业,然后选择对其日志感兴趣的Map任务。