我将尝试通过示例来突出显示块分割与文件大小之间的差异。在hdfs中，您有：

Splittable FileA size 1GB
dfs.block.size=67108864(~64MB)

针对此文件Map的作业：

16 splits and in turn 16 mappers.

让我们看看压缩（不可拆分）文件的这种情况：

Non-Splittable FileA.gzip size 1GB
dfs.block.size=67108864(~64MB)

针对此文件Map的作业：

16 Blocks will converge on 1 mapper.

最好主动避免这种情况，因为这意味着tasktracker必须获取16个数据块，其中大部分数据块不是tasktracker的本地数据块。
最后，block、split和file的关系总结如下：

block boundary
|BLOCK           |    BLOCK       |   BLOCK        |   BLOCK ||||||||
|FILE------------|----------------|----------------|---------|
|SPLIT            |                |                |        |

拆分可以扩展到块之外，因为拆分取决于inputformat类定义，该类定义说明如何拆分可能与块大小不一致的文件，因此拆分可以扩展到块之外，以包括源中的查找点。

如果您有不可拆分的文件，那么最好使用更大的块大小-与文件本身一样大（或者更大，没有区别）。
如果块大小小于整个文件大小，则可能所有块都不在同一数据节点上，从而丢失数据局部性。这对于可拆分文件不是问题，因为将为每个块创建Map任务。
至于块大小的上限，我知道对于某些旧版本的hadoop，这个限制是2gb（超过这个限制块内容是不可获得的）-请参阅https://issues.apache.org/jira/browse/hdfs-96
存储块大小较大的较小文件没有坏处—要强调这一点，请考虑块大小为2 gb的1mb和2 gb文件：
1 mb—1个块，名称节点中的单个条目，每个数据节点副本上物理存储1 mb
2 gb-1块，名称节点中的单个条目，每个数据节点副本上物理存储2 gb
因此除了所需的物理存储之外，name node块表没有任何缺点（两个文件在块表中都有一个条目）。
唯一可能的缺点是复制较小的块与较大的块所需的时间不同，但另一方面，如果数据节点从集群中丢失，则分配2000 x 1 mb块进行复制的任务比单个块2 gb块慢。
更新-工作示例
鉴于这引起了一些混乱，以下是一些成功的例子：
假设我们有一个300mbhdfs块大小的系统，为了使事情更简单，我们有一个只有一个数据节点的psuedo集群。
如果要存储1100 mb的文件，那么hdfs将把该文件分解为最多300 mb的块，并以特殊的块索引文件的形式存储在数据节点上。如果要转到数据节点并查看它在物理磁盘上存储索引块文件的位置，您可能会看到如下内容：

/local/path/to/datanode/storage/0/blk_000000000000001  300 MB
/local/path/to/datanode/storage/0/blk_000000000000002  300 MB
/local/path/to/datanode/storage/0/blk_000000000000003  300 MB
/local/path/to/datanode/storage/0/blk_000000000000004  200 MB

请注意，文件不能完全被300MB整除，因此文件的最后一个块的大小是文件的模与块大小的乘积。
现在，如果我们对小于块大小的文件重复相同的练习，比如说1 mb，然后看看它将如何存储在数据节点上：

/local/path/to/datanode/storage/0/blk_000000000000005  1 MB

再次注意，数据节点上存储的实际文件是1MB，而不是一个200MB的零填充文件（我认为这是产生混淆的原因）。
现在，块大小在效率中起作用的是名称节点。对于以上两个示例，name节点需要维护文件名、块名和数据节点位置（以及总文件大小和块大小）的Map：

filename     index     datanode
-------------------------------------------
fileA.txt    blk_01    datanode1
fileA.txt    blk_02    datanode1
fileA.txt    blk_03    datanode1
fileA.txt    blk_04    datanode1
-------------------------------------------
fileB.txt    blk_05    datanode1

您可以看到，如果要对filea.txt使用1 mb的块大小，则需要在上面的Map中输入1100个条目，而不是4个条目（这将需要名称节点中更多的内存）。同时，收回所有的块会更加昂贵，因为您将对datanode1进行1100次rpc调用，而不是4次。