最新研究提出了一种名为OmnimatteRF的方法，它能够同时利用3D背景模型和2D前景层，实现对视频中的前景与背景进行准确分离。该方法综合了Omnimatte和D2NeRF的优点，适用于各种类型的视频，并无需手动调参。OmnimatteRF首先使用传统视频遮罩技术将动态的前景层分离出来，然后利用这些遮罩结果和单目深度估计，训练一个称为TensoRF的神经辐射场模型来表示背景。最后，通过将动态前景层和静态三维背景模型相结合，重建复杂真实场景。在各类真实视频上的实验结果表明，相比仅使用二维层表示背景的方法，OmnimatteRF能够得到更优质的重建效果。这一技术对于视频制作专业人员具有重要的应用价值，可以用于为影片添加有趣的效果，并且有助于构建沉浸式的虚拟环境。OmnimatteRF利用3D背景模型处理复杂几何形状和非旋转摄像机运动，扩展了适用的视频种类。相比仅使用二维图像层表示视频背景的方法，三维建模极大地提升了对真实世界视频的适应能力