文件存储在大小为260 mb的hdfs中，而hdfs的默认块大小为64 mb。在对这个文件执行map reduce作业时，我发现它创建的输入分割数只有4个。它是怎么计算出来的。？剩下的4MB在哪里。？任何意见都将不胜感激。
sxissh061#
输入拆分并不总是块大小。输入拆分是数据的逻辑表示。您的输入拆分可能是63mb、67mb、65mb、65mb（或者可能是基于逻辑记录大小的其他大小）。。。请参阅下面链接中的示例。。。hadoop输入拆分大小与块大小另一个例子-见第3.3节。。。
1条答案
按热度按时间sxissh061#
输入拆分并不总是块大小。输入拆分是数据的逻辑表示。您的输入拆分可能是63mb、67mb、65mb、65mb（或者可能是基于逻辑记录大小的其他大小）。。。请参阅下面链接中的示例。。。
hadoop输入拆分大小与块大小
另一个例子-见第3.3节。。。