hadoop文件系统大小du命令

8yoxcaq7  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(728)

我想知道 hadoop fs -du 手段。文件上不清楚:

In [16]: subprocess.call(["hadoop", "fs", "-du","-
h","/project/crm/warehouse/"])

输出:
5.9克17.8克/项目/客户关系管理/仓库/n98770用户1
这条路的实际大小是多少?5.9 gb还是17.8 gb?
谢谢您

lmyy7pcs

lmyy7pcs1#

第一列是实际的文件或目录大小,而第二列是由于复制而消耗的实际空间
因为hdfs复制数据,所以第二个字段显示数据复制后占用的总磁盘空间。
在这种情况下,您的总尺寸是17.8,基本尺寸是5.9
17.8/5.9大约是3
这意味着您的hdfs集群的复制因子为3(是默认值)。
如果复制因子为2,则输出为:
5.9克12克/项目/客户关系管理/仓库/n98770用户1

相关问题