我有一个文件有两列，第一列是源文件的hdfs路径，第二列是目标文件的hdfs路径：s1，t1 s2，t2。。序号，tn将源路径复制到各自的目标路径的最快方法是什么。有没有这样的hadoop工具？这个列表可能有100-200行长，每个文件只有几兆字节。
vbopmzt11#
这个列表可能有100-200行长，每个文件只有几兆字节。如果这是一个一次性的情况，那么这是不够大的担心。一个愚蠢的ol'shell循环就可以了：
cat pairs-file | while read pair; do hdfs dfs -cp $pair; done
1条答案
按热度按时间vbopmzt11#
这个列表可能有100-200行长，每个文件只有几兆字节。
如果这是一个一次性的情况，那么这是不够大的担心。一个愚蠢的ol'shell循环就可以了：