[论文解读] Tensor4D : Efficient Neural 4D Decomposition for High-fidelity Dynamic Reconstruction and Rendering

Ruizhi Shao, Zerong Zheng+4 more|arXiv (Cornell University)|Nov 21, 2022

Advanced Vision and Imaging被引用 6

一句话总结

Tensor4D 提出了一种分层的4D张量分解方法，通过九个紧凑的2D特征平面表示动态场景，实现了从稀疏视角或单目RGB相机中高效、高保真度的重建与渲染。通过分解时间感知体积并应用带有正则化的粗到细因子分解，该方法在训练时间与显存占用方面均优于现有基于NeRF的方法，实现了最先进性能。

ABSTRACT

We present Tensor4D, an efficient yet effective approach to dynamic scene modeling. The key of our solution is an efficient 4D tensor decomposition method so that the dynamic scene can be directly represented as a 4D spatio-temporal tensor. To tackle the accompanying memory issue, we decompose the 4D tensor hierarchically by projecting it first into three time-aware volumes and then nine compact feature planes. In this way, spatial information over time can be simultaneously captured in a compact and memory-efficient manner. When applying Tensor4D for dynamic scene reconstruction and rendering, we further factorize the 4D fields to different scales in the sense that structural motions and dynamic detailed changes can be learned from coarse to fine. The effectiveness of our method is validated on both synthetic and real-world scenes. Extensive experiments show that our method is able to achieve high-quality dynamic reconstruction and rendering from sparse-view camera rigs or even a monocular camera. The code and dataset will be released at https://liuyebin.com/tensor4d/tensor4d.html.

研究动机与目标

• 解决学习动态场景4D神经辐射场带来的高计算与显存开销问题。
• 在稀疏视角或单目相机设置下，实现高质量的重建与渲染。
• 开发一种内存高效的表示方法，捕捉复杂运动与精细细节，且不依赖昂贵的MLP。
• 提出一种分层分解方法，实现结构与细节运动分量的粗到细渐进学习。
• 提供一种紧凑的显式表示，可在观测受限条件下起到隐式正则化作用。

提出的方法

• 该方法将4D时空张量分解为三个时间感知的3D体积，每个体积进一步分解为三个2D特征平面，最终形成九个2D平面以实现紧凑的4D表示。
• 通过将EG3D中的三重投影概念扩展至4D，将4D场投影到三个正交的时间感知体积中，以保持时空一致性。
• 采用分层分解策略，在不同尺度上对4D场进行因子分解，逐步学习粗粒度运动与细节。
• 将显式4D张量因子分解与正则化项（包括基于TV的平滑性）相结合，提升在稀疏视角下的鲁棒性。
• 该方法被应用于NeRF-T（时间条件辐射场）与D-NeRF（规范场 + 运动场）框架，以支持多视角与单目重建。
• 训练损失包括光度损失、深度损失与几何平滑性项，以提升渲染质量并减少伪影。

实验结果

研究问题

• RQ1 使用显式特征平面的分层4D张量分解，能否在降低内存与训练成本的前提下实现高保真动态场景重建？
• RQ2 在稀疏视角或单目输入条件下，所提出的分解方法在保留精细细节（如手指运动、衣物褶皱）方面效果如何？
• RQ3 与标准NeRF基线方法相比，粗到细因子分解与正则化在多大程度上提升了重建质量？
• RQ4 该方法能否泛化至真实世界场景，且在相机视角有限且无深度传感器的条件下表现良好？
• RQ5 与现有4D NeRF基线相比，该方法在内存与训练效率方面表现如何？

主要发现

• Tensor4D在合成与真实世界数据集上均实现了最先进水平的新视角合成质量，尤其在恢复手指、面部表情与衣物褶皱等精细细节方面表现卓越。
• 在单目合成数据集上，该方法在定量指标（如PSNR、LPIPS）与定性结果上均优于SOTA基线，且伪影更少。
• 在四台相机的稀疏视角设置下，该方法保持了高渲染质量与时间一致性，在PSNR与LPIPS指标上优于NeRF-T、D-NeRF与NeuS-T。
• 相比原始NeRF-T与D-NeRF，训练时间显著缩短，且显存占用低于TiNeuVox，尽管分辨率更高（512³ vs. 256³）。
• 消融实验表明，正则化与分层分解至关重要：移除它们会降低性能，且6平面分解方案的效果不如所提出的9平面方案。
• 该方法可实现从单目输入的高质量重建，证明了其在低成本、便携式远程呈现系统中的可行性。