[论文解读] Pix2NeRF: Unsupervised Conditional $π$-GAN for Single Image to Neural Radiance Fields Translation

Shengqu Cai, Anton Obukhov+2 more|arXiv (Cornell University)|Feb 26, 2022

Advanced Vision and Imaging被引用 8

一句话总结

Pix2NeRF 提出了一种无监督的单图像到NeRF转换框架，利用条件π-GAN在无3D、多视角或姿态监督的情况下生成高保真度的新视角。通过联合优化一个可学习的编码器和π-GAN生成器，结合重建损失与对抗性损失，该方法在单次输入设置下实现了最先进的3D一致性和视图合成质量。

ABSTRACT

We propose a pipeline to generate Neural Radiance Fields~(NeRF) of an object or a scene of a specific class, conditioned on a single input image. This is a challenging task, as training NeRF requires multiple views of the same scene, coupled with corresponding poses, which are hard to obtain. Our method is based on $π$-GAN, a generative model for unconditional 3D-aware image synthesis, which maps random latent codes to radiance fields of a class of objects. We jointly optimize (1) the $π$-GAN objective to utilize its high-fidelity 3D-aware generation and (2) a carefully designed reconstruction objective. The latter includes an encoder coupled with $π$-GAN generator to form an auto-encoder. Unlike previous few-shot NeRF approaches, our pipeline is unsupervised, capable of being trained with independent images without 3D, multi-view, or pose supervision. Applications of our pipeline include 3d avatar generation, object-centric novel view synthesis with a single input image, and 3d-aware super-resolution, to name a few.

研究动机与目标

• 解决单图像3D重建的挑战，其中有限的几何信息使得新视角合成变得困难。
• 克服现有少样本NeRF方法的局限性，这些方法需要多视角输入或显式的3D监督。
• 利用生成模型中的隐式3D先验，从单张图像中推断缺失的几何结构。
• 开发一个端到端的无监督框架，分离内容与姿态，实现可控的NeRF生成。
• 证明联合优化重建损失与对抗性损失可显著提升3D一致性与视图保真度，优于简单的GAN反演方法。

提出的方法

• 采用π-GAN作为主干生成器，将潜在码映射为具有内置3D一致性的类别特定神经辐射场。
• 引入一个编码器网络，将输入图像映射到共享潜在空间，实现内容与姿态因子的解耦。
• 实施一种条件GAN设置，使编码器与π-GAN生成器通过对抗损失与重建损失联合训练。
• 在训练过程中采用预热策略，通过优先优化重建损失来稳定优化过程，随后再启用完整的对抗训练。
• 采用双目标优化：(1) π-GAN的无条件生成目标；(2) 通过编码器-生成器反馈实现的自编码重建。
• 通过采样随机的潜在码作为内容与姿态，再经由生成器渲染新视角，实现零样本NeRF生成。

实验结果

研究问题

• RQ1 基于条件GAN的框架能否在无任何3D或多视角监督的情况下，从单张图像生成高保真度且3D一致的NeRF？
• RQ2 与简单的GAN反演相比，联合优化重建损失与对抗性损失在提升3D一致性方面有何改进？
• RQ3 预热策略在稳定训练并防止单图像NeRF生成过程中的模式崩溃方面起到什么作用？
• RQ4 编码器在解耦内容与姿态方面的能力在多大程度上影响新视角合成的质量？
• RQ5 该框架能否泛化到训练类别之外，并通过潜在空间采样支持多样化的3D生成？

主要发现

• 与在重建质量差和存在几何伪影方面表现不佳的简单GAN反演相比，Pix2NeRF在3D一致性和视图合成质量方面表现更优。
• 消融实验表明，若移除条件对抗损失，3D一致性将显著下降，视觉伪影增多。
• 预热策略至关重要：若无此策略，模型会过度拟合于输入视角，无法生成合理的新型视图。
• 若移除GAN反演或自编码器目标，生成结果将变得模糊且不自然，表明两个组件对性能均不可或缺。
• 通过重建损失与对抗性损失联合训练编码器与π-GAN，相比独立自编码训练，能实现更好的解耦与更真实的新型视图合成。
• 通过随机采样内容与姿态潜在码，框架成功生成多样化的NeRF，证明其具备零样本3D生成能力。