在我的双datanode设置中，我运行testdfsio基准测试，并观察到在运行基准测试的最后阶段块被删除。这似乎是在基准测试结束时执行的清理过程的一部分。日志通过以下行确认这一点：
hadoop.mapred.JobTracker: Adding task (JOB_CLEANUP) ...
添加job\u cleanup任务实际上与删除的块/文件有何关联？我知道testdfsio.java有清理方法，但在完成基准测试执行时，我看不到它们是如何被调用的。
bzzcjhmw1#
mapper类的run（）方法（由hadoop框架提供）调用cleanup方法：
public void run(Context context) throws IOException, InterruptedException { setup(context); while (context.nextKeyValue()) { map(context.getCurrentKey(), context.getCurrentValue(), context); } cleanup(context); }
1条答案
按热度按时间bzzcjhmw1#
mapper类的run（）方法（由hadoop框架提供）调用cleanup方法：