是否存在任何combineparquetfileinputformat?

zxlwwiss  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(310)

在我的项目中,我必须阅读Parquet文件。有很多小尺寸的Parquet文件。我需要一些结合Parquet输入格式,可以结合小文件,根据分裂的大小,使Map的数量将减少。请让我知道,如果有一些实用程序或任何简单的方法来做到这一点。
谢谢

g52tjvyc

g52tjvyc1#

parquetinputformat是fileinputformat的子级,它支持多个文件输入。所以,简而言之,您不需要combileparquetfileinputformat
只需使用fileinputformat.addinputpaths来指定输入。
parquetinputformat的来源https://github.com/parquet/parquet-mr/blob/master/parquet-hadoop/src/main/java/parquet/hadoop/parquetinputformat.java
p、 如果你有很多小Parquet文件,很可能你做错了什么。

jslywgbw

jslywgbw2#

  1. import org.apache.hadoop.mapreduce.InputSplit;
  2. import org.apache.hadoop.mapreduce.RecordReader;
  3. import org.apache.hadoop.mapreduce.TaskAttemptContext;
  4. import org.apache.hadoop.mapreduce.lib.input.CombineFileInputFormat;
  5. import org.apache.hadoop.mapreduce.lib.input.CombineFileRecordReader;
  6. import org.apache.hadoop.mapreduce.lib.input.CombineFileRecordReaderWrapper; import org.apache.hadoop.mapreduce.lib.input.CombineFileSplit;
  7. import parquet.avro.AvroReadSupport;
  8. import parquet.hadoop.ParquetInputFormat;
  9. import java.io.IOException;
  10. public class CombineParquetInputFormat<T> extends CombineFileInputFormat<Void, T> {
  11. @Override
  12. public RecordReader<Void, T> createRecordReader(InputSplit split, TaskAttemptContext
  13. context) throws IOException {
  14. CombineFileSplit combineSplit = (CombineFileSplit) split;
  15. return new CombineFileRecordReader(combineSplit, context, CombineParquetrecordReader.class);
  16. }
  17. private static class CombineParquetrecordReader<T> extends CombineFileRecordReaderWrapper<Void, T> {
  18. public CombineParquetrecordReader(CombineFileSplit split, TaskAttemptContext context, Integer idx) throws
  19. IOException, InterruptedException {
  20. super(new ParquetInputFormat<T>(AvroReadSupport.class), split, context, idx);
  21. }
  22. } }

一个很棒的关于集成测试的博客http://bytepadding.com/big-data/spark/combineparquetfileinputformat/

展开查看全部

相关问题