这个差异是在周末出现的,当时我正试图通过网络在不同的集群(在房间中物理上分开)之间传输大量数据 hftp
通过做
hadoop distcp hftp-path-src hftp-path-dst
``` `hftp` url类似于 `hftp://node:50070/more/path` 它中途失败了,在一些文件上。罗格斯说
未处理的内部错误。vertex失败,vertexname=scope-152。。。
我手动检查了那些文件,没有发现任何可疑的东西。我也试过以下方法 `Pig` 看能不能给我一个惊喜
data = LOAD '$src_hftp' USING PigStorage('\t', '-schema');
STORE data INTO '$dst_hftp' USING PigStorage('\t', '-schema');
,这条消息失败得很惨
“…由于vertex\u失败,dag未成功”
现在呢
hadoop distcp hdfs-path-src hdfs-path-dst
与 `hdfs-path` 就像 `hdfs://namenode:8020/more/path` .
效果不错。什么?为什么?
非常感谢。
===========================================
为了回应@rahulbmv的回答,我确实尝试过
hadoop distcp hftp-path-src hdfs-path-dst
在中途也失败了,我可以在屏幕上看到一些传输的文件 `dst` hdfs,其他失踪。所以我觉得这无关紧要。我提到的参考文献是http://www.cloudera.com/documentation/archive/cdh/4-x/4-7-1/cdh4-installation-guide/cdh4ig_topic_7_2.html.
我还尝试登录 `dst` namenode服务器
hadoop distcp hftp-path-src normal-path-without-hdfs-or-hftp
同样的错误也发生了。
但是是的,写入端口应该使用 `hdfs` 协议。通过使用 `hdfs` 协议,错误持续存在。在@rahulbmv指出之后,唯一的区别实际上是读者使用的协议。今天晚些时候我将返回并挖掘错误消息。
1条答案
按热度按时间r6vfmomb1#
hftp是一个只读文件系统。所以您不能复制到hftp目的地。也就是说,你应该能够做到
hadoop distcp hftp-path-src hdfs-path-dst
不过。您可以在这里阅读更多关于hftp及其支持的操作的信息。