我正在寻找一个shell脚本,它应该复制目录(下的文件)从hdfs到本地系统。
pgky5nke1#
我认为当你只需要在终端上写一个命令的时候,写一个完整的脚本是没有意义的。具有
hadoop fs -ls /myDir/path
您可以验证要复制和写入的目录的名称和路径
hadoop fs -get /myDir/path
把文件放到本地。您还可以通过以下方式指定目标目录
hadoop fs -get /myDir/path /myLocal/destDir
它将while目录(带子目录)复制到您的工作目录或指定目录。您还可以使用
hadoop fs -get /myDir/path/*
或一个命令中的特定目录或文件
hadoop fs -get /myDir/path/dir1 /myDir/path/dir2 .
到你的目录。我在hadoop虚拟机上试用过,效果很好。
1条答案
按热度按时间pgky5nke1#
我认为当你只需要在终端上写一个命令的时候,写一个完整的脚本是没有意义的。具有
您可以验证要复制和写入的目录的名称和路径
把文件放到本地。您还可以通过以下方式指定目标目录
它将while目录(带子目录)复制到您的工作目录或指定目录。您还可以使用
或一个命令中的特定目录或文件
到你的目录。我在hadoop虚拟机上试用过,效果很好。