shell脚本将目录从hdfs复制到本地

2nc8po8w  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(363)

我正在寻找一个shell脚本,它应该复制目录(下的文件)从hdfs到本地系统。

pgky5nke

pgky5nke1#

我认为当你只需要在终端上写一个命令的时候,写一个完整的脚本是没有意义的。具有

hadoop fs -ls /myDir/path

您可以验证要复制和写入的目录的名称和路径

hadoop fs -get /myDir/path

把文件放到本地。您还可以通过以下方式指定目标目录

hadoop fs -get /myDir/path /myLocal/destDir

它将while目录(带子目录)复制到您的工作目录或指定目录。您还可以使用

hadoop fs -get /myDir/path/*

或一个命令中的特定目录或文件

hadoop fs -get /myDir/path/dir1 /myDir/path/dir2 .

到你的目录。我在hadoop虚拟机上试用过,效果很好。

相关问题