[论文解读] NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed Neural Radiance Fields

Liangchen Song, Anpei Chen+6 more|arXiv (Cornell University)|Oct 28, 2022

Advanced Vision and Imaging被引用 6

一句话总结

NeRFPlayer 通过将 4D 空间-时间空间分解为静态、形变和新增区域，引入了一种可流式传输的动态场景表示方法。该方法利用自监督分解场实现高效、交互式渲染，并通过混合神经表示中的滑动窗口方案实现低比特率流传输。该方法在单目和多目输入下实现了每帧 10 秒的重建速度和实时渲染，且质量达到当前最先进水平。

ABSTRACT

Visually exploring in a real-world 4D spatiotemporal space freely in VR has been a long-term quest. The task is especially appealing when only a few or even single RGB cameras are used for capturing the dynamic scene. To this end, we present an efficient framework capable of fast reconstruction, compact modeling, and streamable rendering. First, we propose to decompose the 4D spatiotemporal space according to temporal characteristics. Points in the 4D space are associated with probabilities of belonging to three categories: static, deforming, and new areas. Each area is represented and regularized by a separate neural field. Second, we propose a hybrid representations based feature streaming scheme for efficiently modeling the neural fields. Our approach, coined NeRFPlayer, is evaluated on dynamic scenes captured by single hand-held cameras and multi-camera arrays, achieving comparable or superior rendering performance in terms of quality and speed comparable to recent state-of-the-art methods, achieving reconstruction in 10 seconds per frame and interactive rendering.

研究动机与目标

• 仅使用少数或单个 RGB 摄像头，实现实时、交互式 VR 中的 3D 场景探索。
• 解决动态场景重建中稀疏监督和不同时间频率的挑战。
• 支持紧凑、可流式传输的动态场景渲染，实现低比特率与高画质的平衡。
• 在统一的神经表示中建模多样的时间动态——静态、形变和新增区域。
• 通过混合表示和滑动窗口特征管理，实现高效、可配置的神经辐射场流传输。

提出的方法

• 通过逐点分解场预测类别概率，将 4D 空间-时间空间分解为三类：静态、形变和新增区域。
• 引入一种由全局简洁性损失正则化的自监督分解场，以抑制虚假新增区域预测。
• 在混合神经表示（如 TensoRF-CP/VM）上采用滑动窗口方案，高效建模时间依赖的特征通道。
• 将空间特征体素视为时间相关，通过相邻帧之间重叠的通道编码时间信息。
• 采用可学习特征网格的混合表示，实现快速渲染与可配置比特率的流传输。
• 通过调节每帧新增特征通道数（k），实现流传输的可配置性，从而在比特率与画质之间实现权衡。

实验结果

研究问题

• RQ1 在视图稀疏的情况下，能否通过将动态场景有效分解为静态、形变和新增区域，提升重建质量？
• RQ2 在单目设置下，通过分解分离时间动态是否能提升渲染质量与泛化能力？
• RQ3 滑动窗口特征流传输方案能否实现低比特率、交互式动态场景渲染？
• RQ4 基于分解的正则化在使用摄像机组捕获的大运动场景中对性能有何影响？
• RQ5 该框架在多大程度上支持低延迟与高视觉保真度的流传输？

主要发现

• NeRFPlayer 在单目和多目数据集上均实现了每帧 10 秒的重建速度与交互式渲染。
• 使用 TensoRF-CP 且 k=16.00 时，比特率为 0.333 MB/帧，PSNR 达到 25.885，SSIM 达到 0.857。
• 使用 TensoRF-VM 时，PSNR 达到 26.203，SSIM 达到 0.878，比特率为 17.112 MB/帧，表明在高比特率下性能显著提升。
• 消融实验证实，在单目数据上建模全部三类区域是必要的，且在大运动场景中形变建模至关重要。
• 该框架支持从 0.041 MB/帧（k=0.50）到 17.112 MB/帧（k=1.00）的比特率调节，实现灵活的流传输配置。
• 在成像条件变化（如曝光变化）下出现失败，模型对训练视图过拟合，表明其在处理非均匀相机响应方面存在局限。