mkdir在远程集群上创建目录吗?

i34xakig  于 2021-05-31  发布在  Hadoop
关注(0)|答案(1)|浏览(426)

我们在一个分区一个分区的基础上在集群间移动数据,并且我们只需要为此使用-update-skipcrccheck选项。为了使用这些选项逐个分区地运行distcp,需要在目标位置创建分区目录。为此,我需要从目标集群上的远程集群执行-mkdir。
我试着用谷歌搜索答案,但什么也找不到。这是可能的吗?

g9icjywg

g9icjywg1#

当调用distcp而不使用-update或-overwrite时,distcp默认值将在/target下创建目录first/和second/。

distcp -skipcrccheck  hdfs://nn1:8020/source/first hdfs://nn1:8020/source/second hdfs://nn2:8020/target

输出:

hdfs://nn2:8020/target/first/1
hdfs://nn2:8020/target/first/2
hdfs://nn2:8020/target/second/10
hdfs://nn2:8020/target/second/20

相关问题