我想创建一个oozie工作流,将hdfs文件从hdfs集群传输到另一台服务器。由于oozie可以在系统中的任何节点上运行命令或脚本,因此可以在其中一个节点上运行shell脚本或sftp,并将文件传输到目标服务器。
s6fujrry1#
我认为通过在远程服务器上对hdfs文件执行httpget(open操作)(您可以使用 curl 为此)。无论如何,如果您想通过oozie来实现,我认为您可以创建一个脚本,负责将所需的文件从hdfs移动到本地文件系统,然后执行 scp 以便将本地文件系统中的文件移动到远程文件系统。
curl
scp
1条答案
按热度按时间s6fujrry1#
我认为通过在远程服务器上对hdfs文件执行httpget(open操作)(您可以使用
curl
为此)。无论如何,如果您想通过oozie来实现,我认为您可以创建一个脚本,负责将所需的文件从hdfs移动到本地文件系统,然后执行
scp
以便将本地文件系统中的文件移动到远程文件系统。