[论文解读] Neural Radiance Flow for 4D View Synthesis and Video Processing

Yilun Du, Yinan Zhang+3 more|arXiv (Cornell University)|Dec 17, 2020

Advanced Vision and Imaging参考文献 78被引用 11

一句话总结

NeRFlow 提出了一种神经隐式表示方法，通过联合优化辐射场与运动流场，从稀疏视角（包括单目视频）中学习 4D 空间-时间场景动态，实现逼真的 4D 视图合成。该方法在视图合成任务中达到最先进性能，并利用学习到的动态场景先验实现了无监督视频超分辨率与去噪。

ABSTRACT

We present a method, Neural Radiance Flow (NeRFlow),to learn a 4D spatial-temporal representation of a dynamic scene from a set of RGB images. Key to our approach is the use of a neural implicit representation that learns to capture the 3D occupancy, radiance, and dynamics of the scene. By enforcing consistency across different modalities, our representation enables multi-view rendering in diverse dynamic scenes, including water pouring, robotic interaction, and real images, outperforming state-of-the-art methods for spatial-temporal view synthesis. Our approach works even when inputs images are captured with only one camera. We further demonstrate that the learned representation can serve as an implicit scene prior, enabling video processing tasks such as image super-resolution and de-noising without any additional supervision.

研究动机与目标

• 从有限的多视角或单目视频观测中学习动态场景的一致性 4D 空间-时间表示。
• 通过在外观、密度和运动之间强制一致性，解决动态场景重建中时空观测稀疏的挑战。
• 在存在遮挡和精细运动细节的复杂场景中，实现高保真度的空间与时间上的新视角合成。
• 证明学习到的表示可作为无监督视频修复任务（如超分辨率与去噪）的有效隐式场景先验。
• 克服先前基于 NeRF 的方法对大量相机和静态场景的依赖，实现仅用最少输入即可建模动态场景。

提出的方法

• NeRFlow 使用 6D 隐式神经表示，结合空间位置 (x,y,z)、时间 (t) 和视角方向 (θ,φ)，以建模辐射度与密度。
• 引入 4D 流场 (x,y,z,t) 以建模场景动态，并在稀疏观测间强制时间对应关系。
• 通过可微体积渲染，联合优化辐射场与流场，实现端到端训练与梯度反向传播。
• 通过在时间上对齐外观、密度与运动，实现时间一致性，使信息可在帧间传播。
• 利用已知相机参数的多视角与单目视频输入，重建 3D 几何与运动。
• 学习到的辐射场作为动态场景先验，使无额外监督的视频修复成为可能。

实验结果

研究问题

• RQ1 神经隐式表示能否仅从少数相机甚至单个单目视频中学习到一致的 4D 场景动态？
• RQ2 如何在稀疏观测下通过强制外观、密度与运动的一致性，实现鲁棒的 4D 视图合成？
• RQ3 学习到的 4D 场景表示能否作为无监督视频修复任务（如超分辨率与去噪）的有效先验？
• RQ4 在有限监督下，NeRFlow 与最先进方法在视图合成与视频修复方面的表现如何比较？
• RQ5 该方法在处理复杂真实场景中模糊几何与动态区域时存在哪些局限性？

主要发现

• NeRFlow 在具有挑战性的场景中实现了 4D 视图合成的最先进性能，包括流体动力学（倾倒）、长距离机械臂运动以及透明物体。
• 在倾倒数据集上，NeRFlow 的 PSNR 为 28.46，LPIPS 为 0.3556，MSE 为 0.0014，优于非局部均值与盲视频先验方法。
• 在真实单目 Ayush 视频上，NeRFlow 的 PSNR 为 27.71，LPIPS 为 0.1372，显著优于基线方法，在感知质量和重建精度方面表现更优。
• 在超分辨率任务中，NeRFlow 的 PSNR 为 30.67，LPIPS 为 0.0903，优于双三次插值与盲视频先验方法，在感知质量方面表现更优。
• 该方法证明，单个单目视频已足够学习高质量的 4D 场景表示，用于视图合成与视频修复。
• 学习到的辐射场作为有效的动态场景先验，使无监督视频修复效果优于传统方法与内部学习方法。