我正在处理“distcp”命令,以便将几个关键文件从cluster1移到cluster2。以前,这些关键文件的块大小为64mb。现在转移到cluster2(它有128mb的块大小)。在distcp移动之后,关键文件的性能将如何随着cluster2中的新块大小而提高..性能增加或降低。。???
lh80um4z1#
这取决于你的档案。hadoop文件应该是按顺序读取的,如果文件很大(比如说gbs或tbs),那么如果增加块大小,就会提高性能,因为这样会减少要执行的任务数。使用distcp进行复制不会维护文件的块属性,因为块配置因集群而异。
1条答案
按热度按时间lh80um4z1#
这取决于你的档案。hadoop文件应该是按顺序读取的,如果文件很大(比如说gbs或tbs),那么如果增加块大小,就会提高性能,因为这样会减少要执行的任务数。使用distcp进行复制不会维护文件的块属性,因为块配置因集群而异。