关于hdfs，我从他们站点的datareplication部分（链接下面）读到http://hadoop.apache.org/docs/r1.2.1/hdfs_design.html#data+复制'文件中除最后一个块外的所有块大小相同'你能告诉我最后一个街区不一样大的原因吗？总内存分配可能会在这里起作用吗？但是，如果内存大小不是问题，那么最后一个块的大小是否仍然与文件的其余块的大小不同？如果是的话，你能详细说明一下吗？任何链接到jira的发展努力，这将是非常感谢。
q9rjltbz1#
实际上这根本不是问题。事实上，不确定文件的最后一个块是否具有相同的大小。假设文件大小为1000 mb，块大小为128mb，则文件将被拆分为8个块，其中前7个块大小为偶数，等于128mb。7个数据块的总大小为896mb（7*128mb），因此剩余大小为104mb（1000-896）。所以最后一个块的实际大小将是104MB，其中其他7个块的大小是128MB。namenode将为存储在hdfs上的每个文件块分配数据块。它不会考虑块的大小小于数据块的大小。hdfs被设计成将数据块存储在大小相等的数据块中，以便namenode可以轻松地计算和维护数据节点上可用的数据块。
1条答案
按热度按时间q9rjltbz1#
实际上这根本不是问题。事实上，不确定文件的最后一个块是否具有相同的大小。
假设文件大小为1000 mb，块大小为128mb，则文件将被拆分为8个块，其中前7个块大小为偶数，等于128mb。
7个数据块的总大小为896mb（7*128mb），因此剩余大小为104mb（1000-896）。所以最后一个块的实际大小将是104MB，其中其他7个块的大小是128MB。
namenode将为存储在hdfs上的每个文件块分配数据块。它不会考虑块的大小小于数据块的大小。
hdfs被设计成将数据块存储在大小相等的数据块中，以便namenode可以轻松地计算和维护数据节点上可用的数据块。