如何将文件从hdfs复制到远程hdfs

c3frrgcw  于 2021-05-31  发布在  Hadoop
关注(0)|答案(1)|浏览(401)

我想将文件从hadoop集群复制到远程集群。
我在远程集群中有hadoop\u conf文件,可以通过设置 HADOOP_CONF_DIR. 我知道远程名称节点的ip和端口。
我想通过名称空间复制文件,如下所示。
例如hadoop fs-cphdfs://mynamespace/path/file hdfs://remotenamespace/path/file
但是,如果我不配置 hadoop_conf_dir ,我不知道远程名称空间,如果我在 hadoop_conf_dir ,无法访问群集的命名空间。
请告诉我怎么做。

ff29svar

ff29svar1#

在集群之间进行复制的典型方法是使用 distcp .

$ hadoop distcp hdfs://nn1:8020/foo/bar hdfs://nn2:8020/bar/foo

有关更多信息,请参阅distcp version2指南。

相关问题