如何防止hadoop的hdfsapi创建父目录？

weylhg0b 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(425)

如果生成子目录时父目录不存在，我希望hdfs命令失败。当我使用 FileSystem#mkdirs ，我发现没有出现异常，而是创建了不存在的父目录：

import java.util.UUID
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.{FileSystem, Path}

val conf = new Configuration()
conf.set("fs.defaultFS", s"hdfs://$host:$port")

val fileSystem = FileSystem.get(conf)
val cwd = fileSystem.getWorkingDirectory

// Guarantee non-existence by appending two UUIDs.
val dirToCreate = new Path(cwd, new Path(UUID.randomUUID.toString, UUID.randomUUID.toString))

fileSystem.mkdirs(dirToCreate)

如果没有检查是否存在的繁琐负担，如果父目录不存在，如何强制hdfs抛出异常？

hadoop hdfs scala mkdirs

来源：https://stackoverflow.com/questions/47857456/how-can-i-prevent-hadoops-hdfs-api-from-creating-parent-directories

1条答案

按热度按时间

y53ybaqx1#

文件系统api不支持这种行为。相反， FileContext#mkdir 应使用；例如：

import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.{FileContext, FileSystem, Path}
import org.apache.hadoop.fs.permission.FsPermission

val files = FileContext.getFileContext()
val cwd = files.getWorkingDirectory
val permissions = new FsPermission("644")
val createParent = false

// Guarantee non-existence by appending two UUIDs.
val dirToCreate = new Path(cwd, new Path(UUID.randomUUID.toString, UUID.randomUUID.toString))

files.mkdir(dirToCreate, permissions, createParent)

上面的示例将抛出：

java.io.FileNotFoundException: Parent directory doesn't exist: /user/erip/f425a2c9-1007-487b-8488-d73d447c6f79

赞(0）回复(0）举报 2021-05-29

我来回答

如何防止hadoop的hdfsapi创建父目录？

1条答案

相关问题

热门标签

最新问答