目前我得到了hdfs目录中的文件列表,如下所示
FileSystem fs = DistributedFileSystem.get(
URI.create(projectDir), conf);
for (FileStatus status : fs.listStatus(inputDirPath)) {
//Do something
}
问题是这个目录没有太多的文件。所以这会填满记忆。有没有一种方法,我可以得到一个过滤的文件列表,如文件是在特定的一天之后创建的。
暂无答案!
目前还没有任何答案,快来回答吧!