我想使用distcp将文件列表（>1k个文件）复制到hdfs中。我已经将文件列表存储在本地目录中，现在可以使用-f复制所有文件吗？如果是，我必须在我的文件列表文件中维护什么格式？或者还有其他更好的方法吗？
mpbci0fu1#
如果您的用例是将数据从本地文件系统（比如linux）复制到hdfs，则不必使用distcp。你可以简单地使用 hdfs dfs -put 相同的命令。这里是语法。 hdfs dfs -put /path/to/local/dir/* /path/on/hdfs/ 例如hdfs dfs -mkdir /user/hduser/destination-dir/ hdfs dfs -put /home//mydir/* /user/hduser/destination-dir/ 您已经创建了一个包含文件路径列表的文件，但根本不需要它。它主要用于（distcp）将数据从一个集群复制到另一个集群时
hdfs dfs -put
hdfs dfs -put /path/to/local/dir/* /path/on/hdfs/
hdfs dfs -put /home//mydir/* /user/hduser/destination-dir/
1条答案
按热度按时间mpbci0fu1#
如果您的用例是将数据从本地文件系统（比如linux）复制到hdfs，则不必使用distcp。你可以简单地使用
hdfs dfs -put相同的命令。这里是语法。hdfs dfs -put /path/to/local/dir/* /path/on/hdfs/例如hdfs dfs -mkdir /user/hduser/destination-dir/
hdfs dfs -put /home//mydir/* /user/hduser/destination-dir/您已经创建了一个包含文件路径列表的文件，但根本不需要它。它主要用于（distcp）将数据从一个集群复制到另一个集群时