有没有办法为spark创建的每个零件文件添加页眉和页脚?
以下是spark配置:
jsc.hadoopConfiguration().set("mapreduce.output.fileoutputformat.compress", "true");
jsc.hadoopConfiguration().set("mapreduce.output.compression.codec", "true");
jsc.hadoopConfiguration().set("mapreduce.output.fileoutputformat.compress.codec",
"org.apache.hadoop.io.compress.GzipCodec");
jsc.hadoopConfiguration().set("mapreduce.output.compression.type", "BLOCK");
我所有的输出文件都是gzip文件。我的要求是在使用spark创建gzip文件时,为每个gzip文件添加页眉和页脚。
filnalResultRDD.coalesce(2, true).
saveAsNewAPIHadoopFile(path + "/" + newPath,
Text.class,
Text.class,
TextOutputFormat.class,
jsc.hadoopConfiguration());
感谢您的帮助。
暂无答案!
目前还没有任何答案,快来回答吧!