如果我在hdfs中提交一个输入文件并运行多个访问该文件的作业,是否有方法检查输入文件是否在任何给定的时刻被这些作业中的任何一个和/或这些作业中的哪一个访问?
ukxgm1gy1#
可以在作业的Map器中打印文件名。当此作业运行时,它将打印名称,您可以找出该作业当时正在使用的文件。以下是如何从Map器中获取文件名:
FileSplit fileSplit = (FileSplit)context.getInputSplit(); String filename = fileSplit.getPath().getName();
hth公司
1条答案
按热度按时间ukxgm1gy1#
可以在作业的Map器中打印文件名。当此作业运行时,它将打印名称,您可以找出该作业当时正在使用的文件。以下是如何从Map器中获取文件名:
hth公司