如何在hadoop中缩小hdfs的大小

5anewei6  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(245)

iam使用hadoop解析大量(约100万个)文本文件,每个文件都有大量数据。首先,我使用eclipse将所有文本文件上传到hdfs中。但是在上传文件时,我的map reduce操作导致了c:\tmp\hadoop admin\dfs\data目录下的大量文件。那么,有没有什么机制,我可以用它缩小我的hdfs(基本上是上面提到的驱动器)的大小。

pprl5pva

pprl5pva1#

要缩小hdfs的大小,可以将更大的值(以字节为单位)设置为 hdfs-site.xml 财产

dfs.datanode.du.reserved=0

还可以通过启用Map输出压缩来降低Map输出生成的数据量。

map.output.compress=true

希望有帮助。

相关问题