iam使用hadoop解析大量(约100万个)文本文件,每个文件都有大量数据。首先,我使用eclipse将所有文本文件上传到hdfs中。但是在上传文件时,我的map reduce操作导致了c:\tmp\hadoop admin\dfs\data目录下的大量文件。那么,有没有什么机制,我可以用它缩小我的hdfs(基本上是上面提到的驱动器)的大小。
pprl5pva1#
要缩小hdfs的大小,可以将更大的值(以字节为单位)设置为 hdfs-site.xml 财产
hdfs-site.xml
dfs.datanode.du.reserved=0
还可以通过启用Map输出压缩来降低Map输出生成的数据量。
map.output.compress=true
希望有帮助。
1条答案
按热度按时间pprl5pva1#
要缩小hdfs的大小,可以将更大的值(以字节为单位)设置为
hdfs-site.xml
财产还可以通过启用Map输出压缩来降低Map输出生成的数据量。
希望有帮助。