我在HDFS上的一个目录中有一些文件，我需要通过SFTP将它们移动到远程服务器。通常，我所做的是将文件从HDFS下载到一个Unix文件夹中，并使用hdfs dfs -get /hdfs_path/folder/file.txt /unix_path/dest/path
然后我用sftp将其移动为：echo "put /unix_path/dest/path/file.txt /remote_folder" | sftp -b - "user@$remoteServer"
我想知道的是：有没有什么方法可以通过sftp直接将文件从hadoop发送到远程服务器，而不需要执行前面的hdfs dfs -get？
1条答案
按热度按时间ldioqlga1#
Nifi是专门为处理这种类型的文件移动而创建的。（这是一个单独的安装）。你应该检查一下。我不知道有其他的方法来做它，除非你在spark中写了一些代码。
如果你想要一个更小的内存占用，我建议使用Minifi，一个Nifi的子项目。将getHDFS添加到Minifi。这可以管理移动数据，并且可以从命令行启动（但也可以作为发送数据的代理运行）