shell—如何将文件从远程服务器复制到hdfs位置

flseospp  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(765)

我想使用sftp将文件从远程服务器直接复制到hdfs位置,而不将文件复制到本地服务器。hdfs位置是一个安全的集群。请说明这是否可行,以及在这种情况下如何进行。此外,我想知道是否有任何其他方式连接和复制除了sftp。

z2acfund

z2acfund1#

我认为最方便的方法(假设您的远程机器能够连接到hadoop集群)是让远程机器充当hdfs客户机。只需将ssh连接到该计算机,安装hadoop发行版,正确配置它,然后运行:

hadoop fs -put /local/path /hdfs/path

相关问题