[论文解读] Towards Realistic 3D Embedding via View Alignment

Changgong Zhang, Fangneng Zhan+3 more|arXiv (Cornell University)|Jul 14, 2020

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 18

一句话总结

该论文提出了一种名为视图对齐生成对抗网络（VA-GAN）的新颖 GAN 框架，通过可微分判别器和视图编码纹理生成器，将 3D 模型视图与背景几何结构对齐，从而实现在 2D 背景中真实感的 3D 物体嵌入。VA-GAN 在 KITTI 和 Cityscapes 数据集上的汽车与行人合成任务中，实现了最先进的图像合成保真度。

ABSTRACT

Recent advances in generative adversarial networks (GANs) have achieved great success in automated image composition that generates new images by embedding interested foreground objects into background images automatically. On the other hand, most existing works deal with foreground objects in two-dimensional (2D) images though foreground objects in three-dimensional (3D) models are more flexible with 360-degree view freedom. This paper presents an innovative View Alignment GAN (VA-GAN) that composes new images by embedding 3D models into 2D background images realistically and automatically. VA-GAN consists of a texture generator and a differential discriminator that are inter-connected and end-to-end trainable. The differential discriminator guides to learn geometric transformation from background images so that the composed 3D models can be aligned with the background images with realistic poses and views. The texture generator adopts a novel view encoding mechanism for generating accurate object textures for the 3D models under the estimated views. Extensive experiments over two synthesis tasks (car synthesis with KITTI and pedestrian synthesis with Cityscapes) show that VA-GAN achieves high-fidelity composition qualitatively and quantitatively as compared with state-of-the-art generation methods.

研究动机与目标

• 为解决现有基于 GAN 的图像合成方法仅限于 2D 物体的局限性，通过实现真实感的 3D 物体嵌入。
• 通过可微分几何变换学习，将物体视图与背景几何结构对齐，以提升 3D 物体插入的逼真度。
• 在纹理生成器中开发一种视图编码机制，以在估计的视角下生成 3D 模型的精确纹理。
• 实现端到端可训练的图像合成，同时在复杂场景中保持几何一致性与视觉保真度。

提出的方法

• VA-GAN 采用一种新颖的视图编码机制的纹理生成器，以在估计的视角方向下合成高质量的 3D 模型纹理。
• 引入一种可微分判别器，以指导从背景图像中学习几何变换，确保 3D 物体的逼真姿态与视图对齐。
• 判别器通过优化空间与结构真实感，学习强制实现 3D 物体投影视图与背景场景之间的一致性。
• 整个框架为端到端可训练，通过对抗训练联合优化纹理生成与几何对齐。
• 该模型可估计 3D 物体相对于背景的视角角度，从而在正确透视下实现精确的纹理合成。
• 该框架在两个真实世界数据集上进行训练与评估：KITTI 用于汽车合成，Cityscapes 用于行人合成。

实验结果

研究问题

• RQ1 基于 GAN 的框架能否在保持几何一致性与视图对齐的同时，实现真实感的 3D 物体嵌入到 2D 背景中？
• RQ2 可微分判别器在学习将 3D 物体与背景场景对齐的几何变换方面有多高效？
• RQ3 视图编码机制在不同视角下对提升 3D 物体纹理保真度的改善程度如何？
• RQ4 与现有最先进方法相比，所提出的 VA-GAN 在视觉与定量合成质量方面表现如何？

主要发现

• VA-GAN 在 KITTI 数据集上的汽车合成任务中，通过定性与定量评估均实现了高保真度的图像合成。
• 该模型在 3D 物体插入方面表现出卓越的逼真度，显著提升了 3D 物体视图与背景场景几何结构之间的对齐程度。
• 可微分判别器有效学习了几何变换，使嵌入的 3D 物体具有更自然的姿态与视角。
• 纹理生成器中的视图编码机制显著提升了在估计视角下的纹理准确性。
• VA-GAN 在汽车与行人合成任务中，均优于现有的最先进生成方法。
• 该框架在保持端到端可训练性的同时，实现了在多样化真实背景下的稳定且逼真的结果。