如何在运行copyfromlocal命令时更改复制因子?

ldxq2e6h  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(282)

我不是在问如何在hadoop中为文件夹/文件设置复制因子。我知道下面的命令对现有的文件和文件夹是完美的。

hadoop fs -setrep -R -w 3 <folder-path>

我在问,在从本地复制数据时,如何设置复制因子,而不是默认值(在我的场景中是4)。我在执行命令,

hadoop fs -copyFromLocal <src> <dest>

当我运行以上命令时,它会从 srcdest 复制因子为4的路径。但我想把复制因子 1 复制数据时,而不是复制完成后。基本上我想要这样的东西,

hadoop fs -setrep -R 1 -copyFromLocal <src> <dest>

我试过了,但没用。那么,能做到吗?或者我先用复制因子4复制数据,然后运行 setrep 命令?

xmakbtuz

xmakbtuz1#

根据这篇文章和这篇文章(都问了不同的问题),这个命令似乎起作用了:

hadoop fs -D dfs.replication=1 -copyFromLocal <src> <dest>

d选项的意思是“使用给定属性的值”

相关问题