hadoop序列文件真的很奇怪。我将图像打包到序列文件中,无法恢复图像。我做一些简单的测试。我发现在使用序列文件前后字节的大小甚至不一样。
Configuration confHadoop = new Configuration();
FileSystem fs = FileSystem.get(confHadoop);
String fileName = args[0];
Path file = new Path(fs.getUri().toString() + "/" + fileName);
Path seqFile = new Path("/temp.seq");
SequenceFile.Writer writer = null;
FSDataInputStream in = null;
try{
writer = SequenceFile.createWriter(confHadoop,Writer.file(seqFile), Writer.keyClass(Text.class),
Writer.valueClass(BytesWritable.class));
in = fs.open(file);
byte buffer[] = IOUtils.toByteArray(in);
System.out.println("original size ----> " + String.valueOf(buffer.length));
writer.append(new Text(fileName), new BytesWritable(buffer));
System.out.println(calculateMd5(buffer));
writer.close();
}finally{
IOUtils.closeQuietly(in);
}
SequenceFile.Reader reader = new SequenceFile.Reader(confHadoop, Reader.file(seqFile));
Text key = new Text();
BytesWritable val = new BytesWritable();
while (reader.next(key, val)) {
System.out.println("size get from sequence file --->" + String.valueOf(val.getLength()));
String md5 = calculateMd5(val.getBytes());
Path readSeq=new Path("/write back.png");
FSDataOutputStream out = null;
out = fs.create(readSeq);
out.write(val.getBytes()); //YES! GOT THE ORIGIANL IAMGE
out.close();
System.out.println(md5);
.............
}
输出显示我得到了相同的字节数,在我将映像写回本地磁盘后,我确信我得到了原始映像。但为什么md5值不一样呢?
我在这里犯了什么错?
14/04/22 16:21:35 INFO compress.CodecPool: Got brand-new compressor [.deflate]
original size ----> 485709
c413e36fd864b27d4c8927956298edbb
14/04/22 16:21:35 INFO compress.CodecPool: Got brand-new decompressor [.deflate]
size get from sequence file --->485709
322cce20b732126bcb8876c4fcd925cb
1条答案
按热度按时间y4ekin9u1#
我终于解决了这个奇怪的问题,我必须分享它。首先,我将向您展示从序列中获取字节的错误方法。
原因是getbytes()不返回原始数据的确切大小。我把数据用
我检查了输出序列文件的大小,它是原始大小加头,我不知道为什么getbytes()给我比原始多的字节。但让我们看看如何正确获取数据。
选项1,复制所需数据的大小。
选项2
这更甜。:)终于搞定了。