[论文解读] Space-time Neural Irradiance Fields for Free-Viewpoint Video

Wenqi Xian, Jia‐Bin Huang+2 more|arXiv (Cornell University)|Nov 25, 2020

Advanced Vision and Imaging参考文献 79被引用 15

一句话总结

本文提出了一种时空神经辐照度场，通过单目视频学习全局一致的动态3D场景表示，利用视频深度估计解决运动-外观模糊性，实现自由视角渲染。该方法在真实世界智能手机视频上实现了高保真度的新视角合成，具备时间一致性与细节纹理保留能力，优于逐帧处理和基线神经渲染方法。

ABSTRACT

We present a method that learns a spatiotemporal neural irradiance field for dynamic scenes from a single video. Our learned representation enables free-viewpoint rendering of the input video. Our method builds upon recent advances in implicit representations. Learning a spatiotemporal irradiance field from a single video poses significant challenges because the video contains only one observation of the scene at any point in time. The 3D geometry of a scene can be legitimately represented in numerous ways since varying geometry (motion) can be explained with varying appearance and vice versa. We address this ambiguity by constraining the time-varying geometry of our dynamic scene representation using the scene depth estimated from video depth estimation methods, aggregating contents from individual frames into a single global representation. We provide an extensive quantitative evaluation and demonstrate compelling free-viewpoint rendering results.

研究动机与目标

• 从单个随意拍摄的视频中实现无需多相机阵列或专用硬件的自由视角视频渲染。
• 利用单目视频深度估计作为几何监督，解决动态场景中运动与外观变化之间的固有模糊性。
• 构建全局一致的时空表示，避免逐帧渲染方法中常见的时间闪烁与遮挡缺失伪影。
• 通过在未观测区域跨时间传播颜色与体素密度，提升渲染质量和一致性。
• 在真实世界智能手机视频上展示具有高视觉保真度与三维深度感知能力的出色自由视角渲染效果。

提出的方法

• 该方法将场景学习为神经隐式表示，作为从时空坐标 (x, y, z, t) 映射到颜色与体素密度的连续函数。
• 利用单目视频深度估计生成的逐帧深度图作为几何监督，约束随时间变化的场景几何结构，并将外观变化与运动区分开来。
• 引入静态场景损失与采样策略，以在无监督区域中跨时间传播颜色与体素密度。
• 通过组合颜色重建损失、深度监督损失、静态场景损失与空域损失进行模型训练，可选加入场景流一致性损失。
• 通过标准体素渲染对隐式场进行新视角渲染，实现在任意视角与时间步的高质量合成。
• 该方法不插值或外推时间步；仅使用全局隐式表示在已观测时间点进行渲染。

Figure 3 : Scene sampling. We measure the Empty-space loss on 3D positions until hitting the estimated scene depth (green). We use all the samples along the ray (green and yellow) to compute the Depth and Color reconstruction loss . For Static loss , we sample the scene from the union of the space s

实验结果

研究问题

• RQ1 能否仅使用单个单目视频，在无多视角或多相机数据的情况下，学习到全局一致、支持自由视角的动态场景表示？
• RQ2 当每个时间步仅有一个视角可用时，如何解决动态场景中的运动-外观模糊性？
• RQ3 视频深度估计在稳定神经隐式表示中的几何结构并提升渲染一致性方面起到何种作用？
• RQ4 在新视角的遮挡区域中，如何在不依赖逐帧变形或后处理的情况下有效填充内容？
• RQ5 颜色与密度的时间传播在多大程度上提升了渲染质量并减少了自由视角视频合成中的闪烁现象？

主要发现

• 所提方法在处理遮挡区域与时间一致性方面，相比基线方法（如基于网格的渲染与NeRF-T）实现了更优的自由视角渲染质量。
• 引入深度监督可一致提升所有指标的表现，其中在遮挡区域与复杂运动场景中提升最为显著。
• 静态场景损失与时间传播策略显著减少了闪烁现象并提升了视觉质量，尽管场景流损失在定量指标上未带来明显改善。
• 在Sintel合成数据集上，完整模型（Model-4）在真实世界视频中取得了最佳视觉效果，尽管在部分指标上Model-2的定量表现略优。
• 该方法成功从具有挑战性的智能手机拍摄视频中渲染出高保真、时间一致的新视角，有效保留了运动细节与三维纹理保真度。

Figure 4 : Static scene loss. Our static scene loss addresses the regions that are not constrained by the color and depth reconstruction loss, which handles only visible surfaces in the input frames (a). We render two frames at $t_{1}=9$ and $t_{2}=90$ from the viewpoint of $t=40$ . The camera has p