hadoop distcp不工作

bxgwgixi 于 2021-05-30 发布在 Hadoop

关注(0)|答案(1)|浏览(495)

我正在尝试将数据从一个hdfs复制到另一个hdfs。有什么建议为什么第一个有效，而不是第二个？
（工程）

hadoop distcp hdfs://abc.net:8020/foo/bar webhdfs://def.net:14000/bar/foo

（不工作）

hadoop distcp webhdfs://abc.net:50070/foo/bar webhdfs://def:14000/bar/foo

谢谢！

1条答案

如果两个集群运行的是不兼容的hdfs版本，那么您可以使用 webhdfs 协议 distcp 在他们之间。

hadoop distcp webhdfs://namenode1:50070/source/dir webhdfs://namenode2:50070/destination/dir

namenode uri和namenode HTTP 如果您使用的是 webhdfs .