hdfs文件ftp

wgeznvg7  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(473)

我想创建一个oozie工作流,将hdfs文件从hdfs集群传输到另一台服务器。
由于oozie可以在系统中的任何节点上运行命令或脚本,因此可以在其中一个节点上运行shell脚本或sftp,并将文件传输到目标服务器。

s6fujrry

s6fujrry1#

我认为通过在远程服务器上对hdfs文件执行httpget(open操作)(您可以使用 curl 为此)。
无论如何,如果您想通过oozie来实现,我认为您可以创建一个脚本,负责将所需的文件从hdfs移动到本地文件系统,然后执行 scp 以便将本地文件系统中的文件移动到远程文件系统。

相关问题