[论文解读] Stochastic Neural Radiance Fields: Quantifying Uncertainty in Implicit 3D Representations

Jianxiong Shen, Adrià Ruiz+2 more|arXiv (Cornell University)|Sep 5, 2021

Human Pose and Action Recognition被引用 4

一句话总结

本文提出随机神经辐射场（S-NeRF），这是NeRF的贝叶斯扩展，通过变分推断在辐射场的概率分布上建模不确定性。S-NeRF为新视角合成和深度图估计提供了可靠的不确定性估计，且未增加计算成本，优于通用不确定性方法。

ABSTRACT

Neural Radiance Fields (NeRF) has become a popular framework for learning implicit 3D representations and addressing different tasks such as novel-view synthesis or depth-map estimation. However, in downstream applications where decisions need to be made based on automatic predictions, it is critical to leverage the confidence associated with the model estimations. Whereas uncertainty quantification is a long-standing problem in Machine Learning, it has been largely overlooked in the recent NeRF literature. In this context, we propose Stochastic Neural Radiance Fields (S-NeRF), a generalization of standard NeRF that learns a probability distribution over all the possible radiance fields modeling the scene. This distribution allows to quantify the uncertainty associated with the scene information provided by the model. S-NeRF optimization is posed as a Bayesian learning problem which is efficiently addressed using the Variational Inference framework. Exhaustive experiments over benchmark datasets demonstrate that S-NeRF is able to provide more reliable predictions and confidence values than generic approaches previously proposed for uncertainty estimation in other domains.

研究动机与目标

• 为解决基于NeRF的3D场景表示中缺乏不确定性量化的问题，这限制了其在机器人和AR等安全关键应用中的使用。
• 开发NeRF的概率泛化方法，对所有可能的辐射场建模不确定性，而非仅提供确定性预测。
• 为下游任务（如新视角渲染和深度图预测）提供可靠的置信度估计。
• 在不增加计算复杂度的前提下将不确定性估计集成到NeRF中，确保实际部署的可行性。

提出的方法

• S-NeRF通过将辐射场和密度建模为具有参数化分布的随机变量，推广了标准NeRF，从而实现对所有可能辐射场的不确定性建模。
• 该方法将NeRF学习问题形式化为贝叶斯推断问题，利用变分推断估计辐射场上的后验分布。
• 通过随机梯度下降优化变分后验，最小化包含负对数似然和KL散度项的变分下界。
• 为训练视图中观测到的空间位置引入可优化方差的可学习先验，相较于固定高方差先验，提升了稳定性和性能。
• 该框架不仅支持新视角渲染的不确定性估计，还支持3D几何任务（如深度图预测）的不确定性估计。
• 优化目标结合了对数似然、KL散度和可学习先验项，实现了更好的泛化能力和不确定性校准。

实验结果

研究问题

• RQ1 NeRF的概率泛化方法能否有效量化3D场景表示中的不确定性？
• RQ2 与其它领域中的通用不确定性方法相比，S-NeRF在不确定性估计方面有何改进？
• RQ3 为观测到的空间位置引入可学习先验是否能提升不确定性校准和模型稳定性？
• RQ4 S-NeRF能否为深度图估计等3D几何任务提供有意义的不确定性估计？
• RQ5 所提方法是否具备可扩展性和高效性，在增加不确定性建模的同时保持计算效率？

主要发现

• S-NeRF在不确定性校准方面显著优于通用不确定性估计方法，表现为更低的负对数似然（NLL）和更高的MSE-不确定性相关性。
• 引入可学习先验（含可优化方差）于观测空间位置，提升了性能与训练稳定性，降低了因固定高方差先验导致次优解的风险。
• S-NeRF在未观测区域及存在深度不连续的区域（如物体边界）分配高不确定性，反映了模型在这些区域的低置信度。
• 在深度图合成任务中，模型展现出可靠的不确定性估计，能正确识别对应于遮挡或场景边界的低置信度区域。
• 在基准数据集上的实验表明，S-NeRF在保持计算效率的同时，实现了基于NeRF的3D表示中顶尖的不确定性量化性能。
• 该框架能成功识别并标记高不确定性区域（如受瞬态物体影响或缺少训练视图的区域），增强了在真实应用中的鲁棒性。