我有一个包含本地文件系统数据的目录结构。我需要把它复制到hadoop集群。目前我找到了三种方法：使用“hdfs dfs-put”命令使用hdfs-nfs网关在每个数据节点上通过nfs挂载我的本地目录并使用distcp我还缺什么工具吗？哪一个是最快的复制方式？
yzckvree1#
我想 hdfs dfs -put 或者 hdfs dfs -copyFromLocal 这是最简单的方法。如果你有很多数据（很多文件），你可以用编程的方式复制它们。
hdfs dfs -put
hdfs dfs -copyFromLocal
FileSystem fs = FileSystem.get(conf); fs.copyFromLocalFile(new Path("/home/me/localdirectory/"), new Path("/me/hadoop/hdfsdir"));
1条答案
按热度按时间yzckvree1#
我想
hdfs dfs -put或者hdfs dfs -copyFromLocal这是最简单的方法。如果你有很多数据（很多文件），你可以用编程的方式复制它们。