我正在使用hadoop来存储文件。我想知道实际的文件大小。
getFileSystem().getContentSummary(new Path(fileName)).getLength();
它返回压缩文件的大小。我使用默认的hadoop编解码器压缩。如何计算实际文件大小？
xxhby3vn1#
除非压缩编解码器支持将未压缩的大小存储在压缩文件的页眉/页脚中，否则无法计算未压缩的大小（除了执行流解压缩并通过dd或java中的字节计数之类的方式运行）。例如gzip—文件的最后4个字节是以字节为单位的未压缩大小（假设不超过4个字节）
1条答案
按热度按时间xxhby3vn1#
除非压缩编解码器支持将未压缩的大小存储在压缩文件的页眉/页脚中，否则无法计算未压缩的大小（除了执行流解压缩并通过dd或java中的字节计数之类的方式运行）。
例如gzip—文件的最后4个字节是以字节为单位的未压缩大小（假设不超过4个字节）