Android Mediacodec解码h264视频流单帧与大绿色填充

y53ybaqx  于 2023-06-20  发布在  Android
关注(0)|答案(1)|浏览(253)

我想解码一个H.264视频流的单帧,这是由服务器发送,但当我这样做,结果图片有很大的填充。

编码和结果:

代码:

val singleFrameMediaCodec= MediaCodec.createDecoderByType("video/hevc")
mediaFormat.setInteger(
            MediaFormat.KEY_COLOR_FORMAT,
            MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible
        )

singleFrameMediaCodec.configure(mediaFormat, null, null, 0)

singleFrameMediaCodec.setCallback(object : MediaCodec.Callback() {
                        override fun onInputBufferAvailable(
                            _codec: MediaCodec,
                            index: Int
                        ) {
                            val buffer = _codec.getInputBuffer(index)
                            singleFrameMediaCodec.queueInputBuffer(
                                index,
                                0,
                                data.size,
                                0,
                                /*BUFFER_FLAG_END_OF_STREAM*/0
                            )
                        }

                        override fun onOutputBufferAvailable(
                            _codec: MediaCodec,
                            index: Int,
                            info: MediaCodec.BufferInfo
                        ) {
                            try {    
                                val info = MediaCodec.BufferInfo()
                                val outputIndex = index
                                val image: Image? = _codec.getOutputImage(outputIndex)
                                val rect = image.cropRect
                                val yuvImage = YuvImage(
                                    YUV_420_888toNV21(image),
                                    NV21,
                                    rect.width(),
                                    rect.height(),
                                    null
                                )

                                val stream = ByteArrayOutputStream()
                                yuvImage.compressToJpeg(
                                    Rect(0, 0, rect.width(), rect.height()),
                                    80,
                                    stream
                                )
                                val frameBitmap: Bitmap =
                                    BitmapFactory.decodeByteArray(
                                        stream.toByteArray(),
                                        0,
                                        stream.size()
                                    )    
                                imageView.setImageBitmap(frameBitmap)

                                _codec.stop()
                                stream.close()
                                image.close()
                                if (outputIndex >= 0) {
                                    _codec.releaseOutputBuffer(outputIndex, false)
                                }

                            } catch (e: Exception) {
                                Log.d(SLIDER_PRECISION, "errors here: " + e.toString())
                            }
                        }

                        override fun onError(
                            _codec: MediaCodec,
                            e: MediaCodec.CodecException
                        ) {
                        }

                        override fun onOutputFormatChanged(
                            _codec: MediaCodec,
                            format: MediaFormat
                        ) {
                        }
                    })
                    singleFrameMediaCodec.start();

现在的结果是这样的大加法:

我做错了什么?重新缩放YUV图像没有帮助,并导致图片具有0维。(我把200和600)
我的YUV转换代码:

public static byte[] YUV_420_888toNV21(Image image) {
    byte[] nv21;
    ByteBuffer yBuffer = image.getPlanes()[0].getBuffer();
    ByteBuffer uBuffer = image.getPlanes()[1].getBuffer();
    ByteBuffer vBuffer = image.getPlanes()[2].getBuffer();
    int ySize = yBuffer.remaining();
    int uSize = uBuffer.remaining();
    int vSize = vBuffer.remaining();
    nv21 = new byte[ySize + uSize + vSize];
    //U and V are swapped
    yBuffer.get(nv21, 0, ySize);
    vBuffer.get(nv21, ySize, vSize);
    uBuffer.get(nv21, ySize + vSize, uSize);
    return nv21;
}

我也抛出了这个异常:
android mediacodec分配组件'OMX.qcom.video.decoder.hevc'失败,请尝试下一个。

apeeds0o

apeeds0o1#

我想解释一下问题出在哪里,这样任何有同样问题的人都可以学习。我已经按照上面的代码设置了正确的填充。那么是什么导致了这个错误的输出呢?问题是我在活动中生成了两个MediaCodec示例,因此操作系统遇到了低资源并给出了此错误结果。只需一个MediaCodec示例就解决了这个问题。(请注意,此问题会发生,但更有可能在使用较旧Android版本的手机中(a.k.a =<8)。

编辑:另一点:

重新缩放YUV图像没有帮助,并导致图片具有0维。(我把200和600)
这是因为如果你为mediaCodec设置了一个表面,它将是MediaCodec的唯一输出,所以在onOutputBufferReady回调中获取Bitmap,将不会返回任何东西。

相关问题