[论文解读] Towards Unsupervised Learning of Generative Models for 3D Controllable Image Synthesis

Yiyi Liao, Katja Schwarz+2 more|arXiv (Cornell University)|Dec 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 52被引用 5

一句话总结

该论文提出了一种新颖的无监督生成模型，通过在3D和2D空间中联合建模图像生成过程，实现3D可控的图像合成。通过结合3D生成器、可微分渲染器和2D图像合成头，该模型从原始图像中解耦出3D因素（如物体姿态和视角），在无3D监督的情况下实现了视角和姿态一致的图像合成，使用球形基元在汽车数据集上的FID分数低至33。

ABSTRACT

In recent years, Generative Adversarial Networks have achieved impressive results in photorealistic image synthesis. This progress nurtures hopes that one day the classical rendering pipeline can be replaced by efficient models that are learned directly from images. However, current image synthesis models operate in the 2D domain where disentangling 3D properties such as camera viewpoint or object pose is challenging. Furthermore, they lack an interpretable and controllable representation. Our key hypothesis is that the image generation process should be modeled in 3D space as the physical world surrounding us is intrinsically three-dimensional. We define the new task of 3D controllable image synthesis and propose an approach for solving it by reasoning both in 3D space and in the 2D image domain. We demonstrate that our model is able to disentangle latent 3D factors of simple multi-object scenes in an unsupervised fashion from raw images. Compared to pure 2D baselines, it allows for synthesizing scenes that are consistent wrt. changes in viewpoint or object pose. We further evaluate various 3D representations in terms of their usefulness for this challenging task.

研究动机与目标

• 为解决基于2D GAN的图像合成中缺乏可控性和可解释性的问题，这些问题会将3D因素（如视角和物体姿态）纠缠在一起。
• 直接从原始2D图像中学习3D可控的生成模型，无需3D监督或标注。
• 通过在3D和2D空间中建模图像生成过程，实现在相机视角和物体姿态变化下的一致性图像合成。
• 评估不同3D表示形式（如点云、长方体和可变形球体）在3D可控合成中的效果。
• 探究2D生成器是否对高保真图像合成至关重要，或直接从3D到2D生成是否已足够。

提出的方法

• 该模型使用3D生成器生成物体级别的基元（如球体、长方体），并解耦位置、旋转和外观等3D因素。
• 可微分渲染器将3D基元投影为2D图像，支持通过渲染过程进行端到端反向传播。
• 2D生成器在渲染后的2D特征条件下，使用对抗性训练生成逼真图像。
• 模型采用多组件损失函数进行训练：生成图像的对抗性损失、2D重建损失，以及保持物体身份一致性的几何一致性损失。
• 该架构支持多基元场景生成，其中每个物体在3D空间中独立表示和操作。
• 消融研究比较了单基元与多基元表示，并评估了2D生成器和几何一致性损失的必要性。

实验结果

研究问题

• RQ1 生成模型能否在无任何3D监督的情况下，从未标注的2D图像中学习到如物体姿态和相机视角等解耦的3D因素？
• RQ2 与纯2D GAN相比，联合在3D和2D空间中建模是否能提升视角一致性和图像保真度？
• RQ3 不同3D表示形式（如点云、球体、长方体）如何影响合成图像的质量和可控性？
• RQ4 2D生成器是否对高保真图像合成至关重要，还是直接从3D基元生成图像已足够？
• RQ5 几何一致性损失能否提升在相机旋转下3D物体身份的鲁棒性？

主要发现

• 使用球形基元在汽车数据集上，该模型的FID分数低至33，优于点云（38）和长方体（38）表示形式。
• 包含2D生成器的多基元模型在图像保真度方面表现更优（FID 33），而直接从3D到2D生成（无2D生成器）的FID为69。
• 几何一致性损失改善了深度和外观的合成效果，尽管在FID分数上未带来显著的定量提升。
• 单基元基线模型在视角变化下无法保持物体身份，导致不同相机角度下生成的物体数量不一致。
• 该模型成功在无监督条件下解耦了物体姿态和视角等3D因素，实现了可控条件下的稳定图像合成。
• 失败案例包括单基元生成虚假物体，以及在大视角变化下出现身份崩溃，表明需要更强的归纳偏置。