hdfs将多个文件复制到同一目标目录

xqnpmsa8  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(668)

我了解到,如果要将多个文件从一个hadoop文件夹复制到另一个hadoop文件夹,可以更好地创建一个包含大量组件的大型“hdfs dfs-cp”语句,而不是创建几个hdfs dfs-cp语句。使用“better”我的意思是,它将提高复制文件所需的总时间:一个命令比几个单独的-cp命令要快。
当我这样做,我的目标目录是相同的所有文件,我要复制我得到一个警告。
我正在执行以下命令:

hdfs dfs -cp -f /path1/file1 /pathx/target /path2/file2 /pathx/target /path3/file3 /pathx/target

执行后,返回以下警告:

cp: `/pathx/target' to `/pathx/target/target': is a subdirectory of itself

尽管我收到了一个奇怪的警告,但拷贝本身还是成功了。这是虫子还是我遗漏了什么?

jaxagkaj

jaxagkaj1#

尝试使用以下语法:

hadoop fs -cp /path1/file1 /path2/file2 path3/file3 /pathx/target

相关问题