我们在一个分区一个分区的基础上在集群间移动数据,并且我们只需要为此使用-update-skipcrccheck选项。为了使用这些选项逐个分区地运行distcp,需要在目标位置创建分区目录。为此,我需要从目标集群上的远程集群执行-mkdir。我试着用谷歌搜索答案,但什么也找不到。这是可能的吗?
g9icjywg1#
当调用distcp而不使用-update或-overwrite时,distcp默认值将在/target下创建目录first/和second/。
distcp -skipcrccheck hdfs://nn1:8020/source/first hdfs://nn1:8020/source/second hdfs://nn2:8020/target
输出:
hdfs://nn2:8020/target/first/1 hdfs://nn2:8020/target/first/2 hdfs://nn2:8020/target/second/10 hdfs://nn2:8020/target/second/20
1条答案
按热度按时间g9icjywg1#
当调用distcp而不使用-update或-overwrite时,distcp默认值将在/target下创建目录first/和second/。
输出: