我想使用sftp将文件从远程服务器直接复制到hdfs位置,而不将文件复制到本地服务器。hdfs位置是一个安全的集群。请说明这是否可行,以及在这种情况下如何进行。此外,我想知道是否有任何其他方式连接和复制除了sftp。
z2acfund1#
我认为最方便的方法(假设您的远程机器能够连接到hadoop集群)是让远程机器充当hdfs客户机。只需将ssh连接到该计算机,安装hadoop发行版,正确配置它,然后运行:
hadoop fs -put /local/path /hdfs/path
1条答案
按热度按时间z2acfund1#
我认为最方便的方法(假设您的远程机器能够连接到hadoop集群)是让远程机器充当hdfs客户机。只需将ssh连接到该计算机,安装hadoop发行版,正确配置它,然后运行: