hadoopmap/reduceMap器的“map”方法和日志

3bygqnnd  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(364)

我最近被要求加快mapreduce项目的进度。我试图查看log4j日志信息,该信息是在实现以下功能的类的“map”方法中生成的: org.apache.hadoop.mapred.Mapper 在这个类中有以下方法:

@Override
public void configure( .. ) { .. }

public static void doCompileAndAdd( .. ) { .. }

public void map( .. ) { .. }

日志信息可用于configure方法和 doCompileAndAdd 方法(从configure方法调用);但是,没有显示“map”方法的日志信息。
我也试过简单地使用 System.out.println( .. ) 在map方法中没有成功。
有没有人能帮助我们弄清楚这个问题?
谢谢,特莱克斯

6yoyoihd

6yoyoihd1#

由于Map器类实际上是在集群中跨节点分布的任务中运行的,因此这些任务的标准输出出现在每个任务的单独日志中。查看这些日志的最简单方法是转到集群的job tracker页面,通常在 http://namenode:50030/jobtracker.jsp . 在那里,您可以选择作业,然后选择对其日志感兴趣的Map任务。

相关问题