opencv 在Unity Hololens 2中访问原始摄像头馈送

i5desfxk  于 2023-08-06  发布在  其他
关注(0)|答案(1)|浏览(94)

项目概要:

我正在为Hololens 2进行计算机视觉项目,目标是能够处理来自实时摄像头的帧,然后在我的Unity应用程序中覆盖AR中处理的帧。
ex)用户将查看表面中的裂缝,然后裂缝将在AR中被突出显示。
图像处理是通过openCV在C++中完成的,并将内置到一个.dll中以在Unity中访问,我目前遇到的问题是从Hololens访问原始相机馈送,我可以使用它进行处理。

可能性:

我看过Mixed Reality Capture,但这似乎主要是用于录制/流耳机视图,而不是原始相机饲料。全息图也会干扰图像处理。
我还研究了Research Mode,它可以访问传感器流,例如用于跟踪耳机的摄像头和深度传感器,这是一种可能性,但我想知道是否有更好的方法?

摄像头码流要求:

  • 不需要彩色的,白色的就行
  • 至少30 fps
  • 未覆盖全息图的原始摄像头馈送
wf82jlnq

wf82jlnq1#

我认为研究模式可以满足您的需求,但需要注意的是,研究模式不适合生产环境。
除了研究模式外,您还可以尝试Unity提供的PhotoCaptureVideoCapture,调用CreateAsync时可以选择是否拍摄全息图。请参阅以下文档。

您也可以尝试WebCamTexture,它不捕获全息图。您可以参考https://docs.unity3d.com/ScriptReference/WebCamTexture.html

相关问题