检查hdfs中给定的输入文件是否在给定的时间点被任何作业使用

neskvpey 于 2021-06-03 发布在 Hadoop

关注(0)|答案(1)|浏览(357)

如果我在hdfs中提交一个输入文件并运行多个访问该文件的作业，是否有方法检查输入文件是否在任何给定的时刻被这些作业中的任何一个和/或这些作业中的哪一个访问？

1条答案

可以在作业的Map器中打印文件名。当此作业运行时，它将打印名称，您可以找出该作业当时正在使用的文件。以下是如何从Map器中获取文件名：

FileSplit fileSplit = (FileSplit)context.getInputSplit();
String filename = fileSplit.getPath().getName();

hth公司