我有两个hadoop集群，我的目标是使用hadoop-cp将所有hdfs文件从cluster1复制到cluster2
集群1:hadoop 0.20.2-cdh3u4
集群2:Hadoop2.0.0-cdh4.1.1
现在，即使只是对cluster2上的cluster1远程运行dfs-ls命令，如下所示：
hadoop fs -ls hdfs://cluster1-namenode:8020/hbase我得到一个例外：
ls:本地异常失败：java.io.ioexception:响应为null。；主机详细信息：本地主机为：“cluster2 namenode/10.21..”；目的主机为：“cluster1 namenode”：8020；
我认为这是由于hadoop版本的不同，有什么解决方法吗？我的旧环境cluster1没有部署mapred，这排除了所有distcp、bhase copytable选项。而且在cluster1上也没有hbase复制功能。我正在努力想办法将hdfs数据从cluster1迁移到cluster2，因为每个人都在谈论将cdh3升级到cdh4，而不是从3迁移到4。
2条答案
按热度按时间j2datikz1#
对于盛杰的回答，我的几点体会是：
它可以从cdh4和cdh3运行，重要的是命令在目标集群上运行。
运行时
distcp通信使用hftp作为来源和hdfs作为目标（因为hftp是只读的！）所以命令看起来像：hadoop分布hftp://source.cluster1/path hdfs://destination.cluster1/path
uqcuzwp82#
在cloudera cdh用户邮件线程中详细讨论了这一点：
https://groups.google.com/a/cloudera.org/forum/?fromgroups=#!主题/cdh用户/get1rtbrvcw
总之，
常规dfs命令，如
dfs -cpcdh3和cdh4之间的连接将不起作用，因为两者都有不同的协议版本（并且在常规rpc调用中彼此不兼容）。distcp可以用于跨集群复制hdfs数据，甚至可以从cdh3复制到cdh4，但这里有几个先决条件：您需要在cdh4集群上运行distcp命令，而且cdh4集群需要部署/提供mapred。cdh3集群不一定需要Map。
在运行distcp命令时，不要对源路径使用hdfs，对源路径使用hftp，而对目标路径使用hftp（因为hftp是只读的，您需要对目标路径进行写访问），因此该命令如下所示：
hadoop分布hftp://hadoop-namenode.cluster1/hbase hftp://hadoop-namenode.cluster2/hbase