spark:为spark输出的每个部分文件添加页眉和页脚

y53ybaqx  于 2021-05-27  发布在  Hadoop
关注(0)|答案(0)|浏览(260)

有没有办法为spark创建的每个零件文件添加页眉和页脚?
以下是spark配置:

jsc.hadoopConfiguration().set("mapreduce.output.fileoutputformat.compress", "true");
    jsc.hadoopConfiguration().set("mapreduce.output.compression.codec", "true");
    jsc.hadoopConfiguration().set("mapreduce.output.fileoutputformat.compress.codec",
            "org.apache.hadoop.io.compress.GzipCodec");
    jsc.hadoopConfiguration().set("mapreduce.output.compression.type", "BLOCK");

我所有的输出文件都是gzip文件。我的要求是在使用spark创建gzip文件时,为每个gzip文件添加页眉和页脚。

filnalResultRDD.coalesce(2, true).
                    saveAsNewAPIHadoopFile(path + "/" + newPath,
                            Text.class,
                            Text.class,
                            TextOutputFormat.class,
                            jsc.hadoopConfiguration());

感谢您的帮助。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题