我有一个远程服务器和服务器认证的hadoop环境。我想把文件从远程服务器复制到hadoop机器到hdfs请建议使用有效的方法/hdfs命令将文件从远程服务器复制到hdfs。任何例子都会有帮助。将文件从远程服务器复制到服务器本身的一般方法是
scp -rp file remote_server:/tmp
但是这种方法不支持直接复制到hdfs
wz1wpwve1#
你可以试试：
ssh remote-server "hadoop -put - /tmp/file" < file
bjg7j2ky2#
这里的远程服务器的意思是说它与hadoop节点不在同一个网络中。如果是这种情况，您可以从远程机器scp到hadoop节点本地文件系统，然后使用-put或-copyfromlocal命令移动到hdfs。示例：hadoopfs-put文件名hdfs://namenode-uri/path-to-hdfs
2条答案
按热度按时间wz1wpwve1#
你可以试试：
bjg7j2ky2#
这里的远程服务器的意思是说它与hadoop节点不在同一个网络中。如果是这种情况，您可以从远程机器scp到hadoop节点本地文件系统，然后使用-put或-copyfromlocal命令移动到hdfs。
示例：hadoopfs-put文件名hdfs://namenode-uri/path-to-hdfs