原来我碰到了这里讨论的一个著名的hadoop bug。这里的问题是 BytesWritable 类，用于编写protobuf文件。在习俗中 RecordReader 我以前做过

@Override
public boolean nextKeyValue() throws IOException, InterruptedException {
    if(!processed){
        byte[] contents = new byte[(int) fileSplit.getLength()];
        Path file = fileSplit.getPath();
        log.debug("Path file:" + file);
        FileSystem fs = file.getFileSystem(conf);
        FSDataInputStream in = null;
        try{
            in = fs.open(file);
            IOUtils.readFully(in, contents, 0, contents.length);    
            value.set(contents, 0, contents.length);
        }catch(Exception e){
            log.error(e);
        }finally{
            IOUtils.closeQuietly(in);
        }
        processed = true;
        return true;
    }
    return false;
}

默认情况下，错误会将最大内容大小设置为integer.max\u size/3，即~680mb。为了解决这个问题，我必须手动设置容量（我的最大大小）

value.setCapacity(my_ideal_max_size)

在我之前 value.set() .
希望这能帮助别人！