我试着把我要上传到hdfs的文件合并成一个文件。因此，HDF的文件数比以前小，但大小相同。因此，在这种情况下，我得到了更快的mapreduce时间，因为我认为这个过程使容器（map task或reduce task）更少。所以，我想问，如何正确设置块大小，以获得更快的mapreduce？我应该设置大于默认值（最小化容器号）吗？谢谢。。。。
6ljaweal1#
你知道为什么hadoop有强大而快速的计算能力吗？因为它把一个大的工作分成许多小的工作。这就是hadoop的精神。而且有很多机制来协调它的工作流程，也许调整块大小不能达到你的目标。您可以以字节为单位设置参数“dfs.block.size”来调整blocksize。
1条答案
按热度按时间6ljaweal1#
你知道为什么hadoop有强大而快速的计算能力吗？因为它把一个大的工作分成许多小的工作。这就是hadoop的精神。
而且有很多机制来协调它的工作流程，也许调整块大小不能达到你的目标。
您可以以字节为单位设置参数“dfs.block.size”来调整blocksize。