我通过hadoop fsck获得了以下详细信息/total size:41514639144544 b（总打开文件大小：581 b）total dirs:40524 total files:124348 total symlinks:0（当前正在写入的文件：7）total blocks（已验证）：340802（平均块大小121814540 b）（总打开文件块（未验证）：7）最小复制块：340802（100.0%）
我使用256mb块大小。所以340802块256 mb=83.2tb3（副本）=249.6 tb，但在cloudera manager中显示使用了110 tb磁盘。怎么可能？
1条答案
按热度按时间vc9ivgsu1#
不能只与块大小和复制因子相乘。块大小和复制因子可以在每个文件级别动态更改。
因此，在你的问题的第二部分所做的计算不一定是正确的，特别是fsck命令显示块大小约为120mb。
在这种情况下，40 tb的存储占用了大约110 tb的存储空间。因此，对于所有文件，复制因子也不是3。cloudera manager中的任何内容都是正确的价值。