我将一些日志文件压缩为lzo设置7,gzip压缩为默认压缩,结果如下:mapreduce作业结束:1gb.gz文件-340秒1gb.lzo文件未索引-410秒1gb.lzo文件索引-380秒mapreduce作业只是利用hadoop lzo库的lzotextinputformat类,而不是通常的textinputformat类。这是唯一的区别。我看到37个map任务通过并分割了作业并使用了.index文件,但是性能还有很多需要改进的地方。有什么想法吗?
目前还没有任何答案,快来回答吧!
暂无答案!
目前还没有任何答案,快来回答吧!