[论文解读] ResFields: Residual Neural Fields for Spatiotemporal Signals

Marko Mihajlović, Sergey Prokudin+2 more|arXiv (Cornell University)|Sep 6, 2023

3D Shape Modeling and Analysis被引用 4

一句话总结

ResFields 提出了一种新颖的架构，通过在标准层中引入时变残差权重，增强了多层感知机（MLP）在时空信号建模中的能力，从而在不增加网络宽度的情况下提升模型容量。该方法在动态3D重建、视频逼近和时变符号距离场任务中表现更优，同时保持快速推理和较低的内存占用，在挑战性基准上实现了最先进性能，且参数增长极少。

ABSTRACT

Neural fields, a category of neural networks trained to represent high-frequency signals, have gained significant attention in recent years due to their impressive performance in modeling complex 3D data, such as signed distance (SDFs) or radiance fields (NeRFs), via a single multi-layer perceptron (MLP). However, despite the power and simplicity of representing signals with an MLP, these methods still face challenges when modeling large and complex temporal signals due to the limited capacity of MLPs. In this paper, we propose an effective approach to address this limitation by incorporating temporal residual layers into neural fields, dubbed ResFields. It is a novel class of networks specifically designed to effectively represent complex temporal signals. We conduct a comprehensive analysis of the properties of ResFields and propose a matrix factorization technique to reduce the number of trainable parameters and enhance generalization capabilities. Importantly, our formulation seamlessly integrates with existing MLP-based neural fields and consistently improves results across various challenging tasks: 2D video approximation, dynamic shape modeling via temporal SDFs, and dynamic NeRF reconstruction. Lastly, we demonstrate the practical utility of ResFields by showcasing its effectiveness in capturing dynamic 3D scenes from sparse RGBD cameras of a lightweight capture system.

研究动机与目标

• 解决基于标准MLP的神经场在建模复杂、高频时空信号（如长视频或动态3D场景）时容量受限的问题。
• 在不增加网络宽度或深度的前提下提升模型容量，同时保持快速推理和低内存使用。
• 保持标准MLP固有的隐式正则化和泛化特性，与分块或元学习方法不同。
• 实现与现有基于MLP的神经场框架（包括NeRF和SDF方法）的无缝集成。
• 通过一种新型矩阵分解技术对残差权重进行参数化，以减少过拟合并提升泛化能力。

提出的方法

• 将MLP中的标准线性层替换为时变残差层，其中权重被建模为可学习的残差分量加到原始权重上：$\mathbf{W}_i(t) = \mathbf{W}_i + \bm{\mathcal{W}}_i(t)$。
• 引入一种矩阵分解技术，将时变残差权重$\bm{\mathcal{W}}_i(t)$参数化为低秩分解，以减少可训练参数数量。
• 采用分解方案$\bm{\mathcal{W}}_i(t) = \mathbf{v}_i(t) \mathbf{M}_i$，其中$\mathbf{v}_i(t) \in \mathbb{R}^{N_i \times R_i}$且$\mathbf{M}_i \in \mathbb{R}^{R_i \times M_i}$，以实现参数效率。
• 通过直接将ResField层嵌入其架构中，与SIREN和TNeRF等现有神经场框架保持兼容。
• 结合位置编码和谱偏差缓解技术（如SIREN），与ResFields协同使用，以进一步提升对高频信号的建模能力。
• 使用标准优化方法端到端训练完整网络，其中残差分量学习随时间调节基础网络容量。

Figure 2: ResField MLP Architecture.

实验结果

研究问题

• RQ1 残差学习能否有效扩展到神经场中MLP的权重空间，以提升对时间信号的建模能力？
• RQ2 所提出的ResField架构是否在提升复杂时空任务性能的同时，保持标准MLP的隐式正则化和泛化特性？
• RQ3 对残差权重进行矩阵分解是否能显著减少参数量而不损害性能，特别是在低数据场景下？
• RQ4 与分块神经场或元学习权重等现有方法相比，ResFields在重建质量、训练速度和内存效率方面表现如何？
• RQ5 ResFields在从稀疏RGBD相机捕获的真实世界动态3D场景中，性能提升程度如何？

主要发现

• ResFields在三台时间同步的RGBD相机采集的动态NeRF重建任务中达到最先进性能，PSNR和LPIPS指标均优于基线方法。
• 在视频逼近任务中，采用因子分解的ResFields在30%未见像素上达到42.45的PSNR，优于基线和其他残差变体。
• 所提出的矩阵分解使可训练参数数量相比非因子分解的ResFields减少高达60%，同时保持或提升泛化能力。
• ResFields保持快速推理和训练速度，即使在建模长时序和复杂时空信号时，GPU内存占用也保持较低水平。
• 该方法在多样化任务中均实现一致提升：2D视频逼近、时变SDF和动态NeRF，展现出广泛适用性。
• 消融研究证实，残差权重调制比残差输出或乘法调制更有效，且因子分解显著提升了与非结构化残差参数相比的泛化能力。

Figure 3: Factorization of $\bm{\mathcal{W}}_{i}$ .