shell—如何将文件从远程服务器复制到hdfs位置

flseospp 于 2021-05-30 发布在 Hadoop

关注(0)|答案(1)|浏览(791)

我想使用sftp将文件从远程服务器直接复制到hdfs位置，而不将文件复制到本地服务器。hdfs位置是一个安全的集群。请说明这是否可行，以及在这种情况下如何进行。此外，我想知道是否有任何其他方式连接和复制除了sftp。

1条答案

我认为最方便的方法（假设您的远程机器能够连接到hadoop集群）是让远程机器充当hdfs客户机。只需将ssh连接到该计算机，安装hadoop发行版，正确配置它，然后运行：

hadoop fs -put /local/path /hdfs/path