我目前正在从一个外部源接收字节数组格式的图像,我想通过ffmpeg将其作为原始视频格式发送到一个流URL,在那里我有一个接收RTSP流的RTSP服务器(a similar unanswered question)。但是,我没有在Java中使用过FFMPEG,所以我找不到如何做到这一点的示例。我有一个回调函数,它将图像字节复制到一个字节数组,如下所示:
public class MainActivity extends Activity {
final String rtmp_url = "rtmp://192.168.0.12:1935/live/test";
private int PREVIEW_WIDTH = 384;
private int PREVIEW_HEIGHT = 292;
private String TAG = "MainActivity";
String ffmpeg = Loader.load(org.bytedeco.ffmpeg.ffmpeg.class);
final String command[] = {ffmpeg,
"-y", //Add "-re" for simulated readtime streaming.
"-f", "rawvideo",
"-vcodec", "rawvideo",
"-pix_fmt", "bgr24",
"-s", (Integer.toString(PREVIEW_WIDTH) + "x" + Integer.toString(PREVIEW_HEIGHT)),
"-r", "10",
"-i", "pipe:",
"-c:v", "libx264",
"-pix_fmt", "yuv420p",
"-preset", "ultrafast",
"-f", "flv",
rtmp_url};
private UVCCamera mUVCCamera;
public void handleStartPreview(Object surface) throws InterruptedException, IOException {
Log.e(TAG, "handleStartPreview:mUVCCamera" + mUVCCamera + " mIsPreviewing:");
if ((mUVCCamera == null)) return;
Log.e(TAG, "handleStartPreview2 ");
try {
mUVCCamera.setPreviewSize(mWidth, mHeight, 1, 26, 0, UVCCamera.DEFAULT_BANDWIDTH, 0);
Log.e(TAG, "handleStartPreview3 mWidth: " + mWidth + "mHeight:" + mHeight);
} catch (IllegalArgumentException e) {
try {
// fallback to YUV mode
mUVCCamera.setPreviewSize(mWidth, mHeight, 1, 26, UVCCamera.DEFAULT_PREVIEW_MODE, UVCCamera.DEFAULT_BANDWIDTH, 0);
Log.e(TAG, "handleStartPreview4");
} catch (IllegalArgumentException e1) {
callOnError(e1);
return;
}
}
Log.e(TAG, "handleStartPreview: startPreview1");
int result = mUVCCamera.startPreview();
mUVCCamera.setFrameCallback(mIFrameCallback, UVCCamera.PIXEL_FORMAT_RGBX);
mUVCCamera.startCapture();
Toast.makeText(MainActivity.this,"Camera Started",Toast.LENGTH_SHORT).show();
ProcessBuilder pb = new ProcessBuilder(command);
pb.redirectErrorStream(true);
Process process = pb.start();
BufferedReader reader = new BufferedReader(new InputStreamReader(process.getInputStream()));
OutputStream writer = process.getOutputStream();
byte img[] = new byte[192*108*3];
for (int i = 0; i < 10; i++)
{
for (int y = 0; y < 108; y++)
{
for (int x = 0; x < 192; x++)
{
byte r = (byte)((x * y + i) % 255);
byte g = (byte)((x * y + i*10) % 255);
byte b = (byte)((x * y + i*20) % 255);
img[(y*192 + x)*3] = b;
img[(y*192 + x)*3+1] = g;
img[(y*192 + x)*3+2] = r;
}
}
writer.write(img);
}
writer.close();
String line;
while ((line = reader.readLine()) != null)
{
System.out.println(line);
}
process.waitFor();
}
public static void buildRawFrame(Mat img, int i)
{
int p = img.cols() / 60;
img.setTo(new Scalar(60, 60, 60));
String text = Integer.toString(i+1);
int font = Imgproc.FONT_HERSHEY_SIMPLEX;
Point pos = new Point(img.cols()/2-p*10*(text.length()), img.rows()/2+p*10);
Imgproc.putText(img, text, pos, font, p, new Scalar(255, 30, 30), p*2); //Blue number
}
此外:Android Camera Capture using FFmpeg
使用ffmpeg从原生安卓相机逐帧捕捉,而不是通过RTMP推送,他们过去常常生成一个视频文件作为输出。虽然没有告知图像是如何通过ffmpeg传递的。
frameData是我的字节数组,我想知道如何使用ProcessBuilder编写必要的ffmpeg命令,以便针对给定的URL使用ffmpeg通过RTSP发送图像。
我尝试做的一个例子,在Python 3中,我可以很容易地做到这一点:
import cv2
import numpy as np
import socket
import sys
import pickle
import struct
import subprocess
fps = 25
width = 224
height = 224
rtmp_url = 'rtmp://192.168.0.13:1935/live/test'
command = ['ffmpeg',
'-y',
'-f', 'rawvideo',
'-vcodec', 'rawvideo',
'-pix_fmt', 'bgr24',
'-s', "{}x{}".format(width, height),
'-r', str(fps),
'-i', '-',
'-c:v', 'libx264',
'-pix_fmt', 'yuv420p',
'-preset', 'ultrafast',
'-f', 'flv',
rtmp_url]
p = subprocess.Popen(command, stdin=subprocess.PIPE)
while(True):
frame = np.random.randint([255], size=(224, 224, 3))
frame = frame.astype(np.uint8)
p.stdin.write(frame.tobytes())
我想在Android中做同样的事情
更新:我可以在Netbeans上重现@Rotem的答案,尽管在Android中,我在尝试执行pb. start()时遇到NullPointer异常错误。
Process: com.infiRay.XthermMini, PID: 32089
java.lang.NullPointerException
at java.lang.ProcessBuilder.start(ProcessBuilder.java:1012)
at com.infiRay.XthermMini.MainActivity.handleStartPreview(MainActivity.java:512)
at com.infiRay.XthermMini.MainActivity.startPreview(MainActivity.java:563)
at com.infiRay.XthermMini.MainActivity.access$1000(MainActivity.java:49)
at com.infiRay.XthermMini.MainActivity$3.onConnect(MainActivity.java:316)
at com.serenegiant.usb.USBMonitor$3.run(USBMonitor.java:620)
at android.os.Handler.handleCallback(Handler.java:938)
at android.os.Handler.dispatchMessage(Handler.java:99)
at android.os.Looper.loopOnce(Looper.java:226)
at android.os.Looper.loop(Looper.java:313)
at android.os.HandlerThread.run(HandlerThread.java:67)
2022-06-02 11:47:20.300 32089-1049/com.infiRay.XthermMini E/libUVCCamera: [1049*UVCPreviewIR.cpp:505:uvc_preview_frame_callback]:receive err data
2022-06-02 11:47:20.304 32089-1049/com.infiRay.XthermMini E/libUVCCamera: [1049*UVCPreviewIR.cpp:505:uvc_preview_frame_callback]:receive err data
2022-06-02 11:47:20.304 32089-1049/com.infiRay.XthermMini E/libUVCCamera: [1049*UVCPreviewIR.cpp:505:uvc_preview_frame_callback]:receive err data
2022-06-02 11:47:20.308 32089-1049/com.infiRay.XthermMini E/libUVCCamera: [1049*UVCPreviewIR.cpp:505:uvc_preview_frame_callback]:receive err data
2022-06-02 11:47:20.312 32089-32089/com.infiRay.XthermMini E/MainActivity: onPause:
2022-06-02 11:47:20.314 32089-32581/com.infiRay.XthermMini I/Process: Sending signal. PID: 32089 SIG: 9
2条答案
按热度按时间xxhby3vn1#
下面是一个类似于Python代码的JAVA实现:
该示例将原始视频帧(字节数组)写入FFmpeg子进程的stdin管道:
主要阶段:
ProcessBuilder
:BufferedReader
:OutputStream
,用于写入FFmpeg子进程的标准输入管道:代码示例:
以下代码示例将10个大小为192x108的原始视频帧写入FFmpeg。
我们将结果写入
test.flv
文件(用于测试),而不是流式传输到RTMP。该示例使用硬编码字符串和数字(为简单起见)。
注:
代码示例假定FFmpeg可执行文件位于执行路径中。
该代码在我的PC(与Windows 10)中进行了测试,我不确定它是否适用于Android ...
上面的例子是简单和通用的,在您的情况下,您可以使用
rgba
像素格式,并在onFrame
方法中写入FrameData
。样本视频帧("任意像素值"):
更新:
以下代码示例使用JavaCV-将Mat数据写入FFmpeg:
输出帧示例:
23c0lvtd2#
我发现使用ffmpeg-kit for Android比使用ProcessBuilder调用ffmpeg二进制文件稍微方便一些。
向ffmpeg传递任意数据(例如,以bytes[]形式的图像)的最简单方法是使用named pipes。
该管道在
{app_data}/cache/pipes/fk_pipe_1
中创建,可以像使用FileOutputStream访问任何Unix文件一样访问。注意,ffmpeg命令只在数据从管道中读取时执行。更多信息可以在ffmpeg-kit wiki中找到。
在某些情况下,直接访问相机可能更容易,这是supported的API级别24和更高。