hdfs列出名称中包含特定字符串的所有文件夹

dgtucam1  于 2021-05-27  发布在  Hadoop
关注(0)|答案(0)|浏览(169)

我有一个目录(有多个子目录,也可以有子目录),我想遍历它,并列出所有在名称中有特定字符串的文件。
我不知道如何遍历所有目录。另外,我想忽略我没有权限访问的所有文件夹,因为我有时会得到org.apache.hadoop.security.accesscontrolexception。
下面是我的代码,它当前只通过给定的路径迭代到深层,但是如果找不到任何东西,就不会返回到根路径。

def searchForFile(folderPath: String): List[String] = {
    fileSystem
      .listStatus(new Path(folderPath))
      .flatMap { status =>
        if (status.isFile && (status.getPath.getName).contains("something"))
          List(status.getPath.getName)
        else
          searchForFile(folderPath + "/" + status.getPath.getName)
      }
      .toList.sorted
  }

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题