如果我们使用distcp命令,块大小如何从cluster1到cluster2变化?

vmjh9lq9  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(444)

我正在处理“distcp”命令,以便将几个关键文件从cluster1移到cluster2。以前,这些关键文件的块大小为64mb。现在转移到cluster2(它有128mb的块大小)。
在distcp移动之后,关键文件的性能将如何随着cluster2中的新块大小而提高..性能增加或降低。。???

lh80um4z

lh80um4z1#

这取决于你的档案。hadoop文件应该是按顺序读取的,如果文件很大(比如说gbs或tbs),那么如果增加块大小,就会提高性能,因为这样会减少要执行的任务数。使用distcp进行复制不会维护文件的块属性,因为块配置因集群而异。

相关问题