是否可以在hdfs中压缩文件而不将其拉入本地系统驱动器？我通常通过做一个 hadoop fs -get filename 然后通过linuxzip命令压缩它…但是我能在hdfs本身中做这个吗？
hadoop fs -get filename
mhd8tkvw1#
可以使用identity mapper（输出与输入相同）而不是reducer创建mapreduce作业；配置要压缩的Map器输出。我想建议使用gzip或lzo代替zip格式，但只有你知道你的要求。
1条答案
按热度按时间mhd8tkvw1#
可以使用identity mapper（输出与输入相同）而不是reducer创建mapreduce作业；配置要压缩的Map器输出。我想建议使用gzip或lzo代替zip格式，但只有你知道你的要求。