我想将文件从hadoop集群复制到远程集群。
我在远程集群中有hadoop\u conf文件,可以通过设置 HADOOP_CONF_DIR.
我知道远程名称节点的ip和端口。
我想通过名称空间复制文件,如下所示。
例如hadoop fs-cphdfs://mynamespace/path/file hdfs://remotenamespace/path/file
但是,如果我不配置 hadoop_conf_dir
,我不知道远程名称空间,如果我在 hadoop_conf_dir
,无法访问群集的命名空间。
请告诉我怎么做。
1条答案
按热度按时间ff29svar1#
在集群之间进行复制的典型方法是使用
distcp
.有关更多信息,请参阅distcp version2指南。