[论文解读] ProbNeRF: Uncertainty-Aware Inference of 3D Shapes from 2D Images

Matthew D. Hoffman, Tuan Anh Lê+5 more|arXiv (Cornell University)|Oct 27, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

ProbNeRF 提出了一种概率神经辐射场模型，能够从单张或多张 2D 图像中实现不确定性感知的 3D 形状与外观重建。通过将变分自编码器与完整 NeRF 权重的哈密顿蒙特卡洛推理相结合——采用精确渲染、退火 HMC 和基于超网络的解码——ProbNeRF 生成了与输入视图一致、多样化且高保真的 3D 假设。

ABSTRACT

The problem of inferring object shape from a single 2D image is underconstrained. Prior knowledge about what objects are plausible can help, but even given such prior knowledge there may still be uncertainty about the shapes of occluded parts of objects. Recently, conditional neural radiance field (NeRF) models have been developed that can learn to infer good point estimates of 3D models from single 2D images. The problem of inferring uncertainty estimates for these models has received less attention. In this work, we propose probabilistic NeRF (ProbNeRF), a model and inference strategy for learning probabilistic generative models of 3D objects' shapes and appearances, and for doing posterior inference to recover those properties from 2D images. ProbNeRF is trained as a variational autoencoder, but at test time we use Hamiltonian Monte Carlo (HMC) for inference. Given one or a few 2D images of an object (which may be partially occluded), ProbNeRF is able not only to accurately model the parts it sees, but also to propose realistic and diverse hypotheses about the parts it does not see. We show that key to the success of ProbNeRF are (i) a deterministic rendering scheme, (ii) an annealed-HMC strategy, (iii) a hypernetwork-based decoder architecture, and (iv) doing inference over a full set of NeRF weights, rather than just a low-dimensional code.

研究动机与目标

• 解决从单张或少数几张 2D 图像进行 3D 形状重建时的不确定性问题，因为传统 NeRF 仅提供点估计。
• 克服现有条件化 NeRF 的局限性，这些方法无法有效表征形状和外观的不确定性，尤其是在遮挡或未见区域。
• 开发一种生成模型，学习合理的 3D 物体先验，并实现对完整 NeRF 表示的后验推断，而不仅限于潜在码。
• 通过结合精确渲染、退火 HMC 和 NeRF 参数级别的推理，实现鲁棒、多样化且高保真的 3D 重建。

提出的方法

• 将 ProbNeRF 训练为变分自编码器（VAE），并使用可逆 RealNVP 流对潜在码建模先验，随后通过超网络生成完整 NeRF 权重。
• 使用精确、确定性的渲染器（基于 Chen 等人，2022 年）代替蒙特卡洛渲染，以确保与 HMC 的兼容性并降低梯度估计的方差。
• 通过在完整 NeRF 权重集合上进行哈密顿蒙特卡洛（HMC）推理实现推理，从而探索多样化且合理的 3D 形状假设。
• 在 HMC 中应用温度退火策略，以在非对数凸似然和孤立后验模态存在的情况下提升混合效率和收敛性。
• 采用两阶段基于超网络的解码器，以生成紧凑且高保真的 NeRF，降低每像素的渲染成本，并实现高效的迭代推理。
• 将潜在码和原始 NeRF 权重均视为后验中的随机变量，避免低维潜在码的瓶颈，从而实现更高保真度的重建。

实验结果

研究问题

• RQ1 我们能否使用概率 NeRF 框架，在仅从单张 2D 图像中建模 3D 重建的形状与外观不确定性？
• RQ2 如何在保持未见物体部分生成假设多样性的前提下，实现高保真 3D 重建？
• RQ3 何种推理策略能够实现在似然函数非对数凸情况下的鲁棒后验采样，尤其是在后验模态孤立时？
• RQ4 与标准蒙特卡洛渲染和 HMC 相比，精确渲染与退火 HMC 在采样质量与收敛性方面表现如何？
• RQ5 与仅在潜在码上进行推断相比，在完整 NeRF 权重上进行推断是否能带来更高的重建保真度与多样性？

主要发现

• ProbNeRF 仅从单张 2D 图像即可生成多样化、一致且高保真的 3D 形状假设，其生成样本与输入视图一致，并在未见区域表现出有意义的差异。
• 使用精确渲染器可实现稳定高效的 HMC 采样，而标准蒙特卡洛渲染则导致高拒绝率和混合性能差。
• 退火 HMC 显著提升了收敛性与对孤立后验模态的探索能力，尤其在非对数凸似然景观中表现更优。
• 在完整 NeRF 权重上进行推断而非仅在潜在码上，消除了低维表示的瓶颈，从而实现了更高保真度的重建。
• 两阶段基于超网络的解码器降低了每像素的渲染成本，提升了效率，使迭代推理在测试时成为可行方案。
• HMC 生成的样本在遮挡区域表现出较高的像素级方差，表明其具备有意义的不确定性建模能力，而摊销推理（如 VAE）则产生几乎完全相同的样本，缺乏多样性。