我有一些大的base64编码数据(存储在hadoop文件系统的snappy文件中)。此数据最初是gzip文本数据。我需要能够读取这些编码数据的块,对其进行解码,然后将其刷新到gzipoutputstream。
有没有什么想法可以代替将整个base64数据加载到数组中并调用base64.decodebase64(byte[])?
如果我将字符读到“\r\n”分隔符并逐行解码,对吗?例如:
for (int i = 0; i < byteData.length; i++) {
if (byteData[i] == CARRIAGE_RETURN || byteData[i] == NEWLINE) {
if (i < byteData.length - 1 && byteData[i + 1] == NEWLINE)
i += 2;
else
i += 1;
byteBuffer.put(Base64.decodeBase64(record));
byteCounter = 0;
record = new byte[8192];
} else {
record[byteCounter++] = byteData[i];
}
}
遗憾的是,这种方法没有提供任何可读的输出。理想情况下,我希望流读取、解码和流输出数据。
现在,我正在尝试输入一个inputstream,然后复制到gzipout
byteBuffer.get(bufferBytes);
InputStream inputStream = new ByteArrayInputStream(bufferBytes);
inputStream = new GZIPInputStream(inputStream);
IOUtils.copy(inputStream , gzipOutputStream);
它给了我一个java.io.ioexception:损坏的gzip拖车
2条答案
按热度按时间vjrehmav1#
感谢尼科斯给我指出了正确的方向。具体来说,我就是这么做的:
76不是基线64的长度吗?不过,我没有试过80岁。
fhity93d2#
我们一步一步走:
你需要一个
GZIPInputStream
读取压缩数据(而不是GZIPOutputStream
; 输出流用于压缩数据)。有了这个流,您将能够读取未压缩的原始二进制数据。这需要一个InputStream
在构造函数中。您需要一个能够读取base64编码数据的输入流。我建议用手边的
Base64InputStream
来自apache commons编解码器。使用构造函数可以设置行长度、行分隔符和doEncode=false
解码数据。这又需要另一个输入流—原始的base64编码数据。这个流取决于你如何得到你的数据;理想情况下,数据应该是可用的
InputStream
-问题解决了。如果没有,你可能不得不使用ByteArrayInputStream
(如果是二进制的),StringBufferInputStream
(如果是字符串)等。这个逻辑大致是:
请注意你的论点
Base64InputStream
(行长和行尾字节数组),您可能需要调整它们。