[论文解读] RGBD-GAN: Unsupervised 3D Representation Learning From Natural Image Datasets via RGBD Image Synthesis

Atsuhiro Noguchi, Tatsuya Harada|arXiv (Cornell University)|Sep 27, 2019

Advanced Vision and Imaging参考文献 32被引用 15

一句话总结

该论文提出RGBD-GAN，一种新颖的无监督3D表征学习方法，仅使用自然2D图像数据集（无需任何3D标注）即可生成一致的RGBD图像。通过引入一种显式的3D一致性损失，使在不同相机参数下生成的图像保持一致，该模型成功将物体身份与相机位姿解耦，并可在多种生成器架构（如StyleGAN和PGGAN）上实现相机条件控制的图像生成，实现了在最小监督下的最先进深度与色彩一致性表现。

ABSTRACT

Understanding three-dimensional (3D) geometries from two-dimensional (2D) images without any labeled information is promising for understanding the real world without incurring annotation cost. We herein propose a novel generative model, RGBD-GAN, which achieves unsupervised 3D representation learning from 2D images. The proposed method enables camera parameter-conditional image generation and depth image generation without any 3D annotations, such as camera poses or depth. We use an explicit 3D consistency loss for two RGBD images generated from different camera parameters, in addition to the ordinal GAN objective. The loss is simple yet effective for any type of image generator such as DCGAN and StyleGAN to be conditioned on camera parameters. Through experiments, we demonstrated that the proposed method could learn 3D representations from 2D images with various generator architectures.

研究动机与目标

• 从无任何3D标注（如深度图、相机位姿或多视角图像）的自然2D图像数据集中实现无监督3D表征学习。
• 以弱监督方式将潜在空间中的物体身份与相机位姿解耦，从而在图像生成过程中实现对视角的显式控制。
• 开发一种与任何图像生成器架构（如StyleGAN、PGGAN）兼容的训练框架，无需引入3D潜在空间或显式3D监督。
• 通过不同相机视角下的方差度量，对生成的RGBD图像的3D一致性进行定量评估。

提出的方法

• 该方法采用条件生成对抗网络（GAN）框架，其中生成器根据相机参数（如方位角、仰角、焦距）生成RGBD图像。
• 提出一种新型3D一致性损失，强制要求从相同内容但不同相机参数生成的两幅RGBD图像必须反映同一潜在3D场景。
• 通过将不同视角下生成的3D点投影到统一3D空间，并测量对应点在各视角间的方差来计算该损失。
• 该损失与标准GAN对抗损失共同使用，使模型能够同时学习深度结构与视角控制能力。
• 该方法具有架构无关性，可无缝集成至任意生成器（如PGGAN、StyleGAN、DeepVoxels）中，无需修改其内部设计。
• 训练过程仅使用未标注的RGB图像，无需真实深度图、相机位姿或多视角监督。

实验结果

研究问题

• RQ1 生成模型能否在无任何3D标注的情况下，仅从自然2D图像数据集中学习到3D一致的深度信息并实现相机可控的图像生成？
• RQ2 所提出的3D一致性损失是否能有效在潜在空间中将相机位姿与物体身份解耦？
• RQ3 该方法是否可应用于如StyleGAN和PGGAN等多样化生成器架构，且无需修改其网络结构？
• RQ4 与现有方法相比，该模型在不同视角下的深度与色彩方差方面，其3D一致性表现如何？
• RQ5 引入3D一致性损失后，生成的RGB图像质量与多样性是否如FID指标所示得到提升？

主要发现

• 所提方法在3D一致性方面达到最先进水平：在使用3D损失的StyleGAN生成ShapeNet汽车数据集时，V_depth和V_color得分分别为0.00027和0.0469。
• 在FFHQ人脸数据集中，该方法将V_depth从-（不可用）降低至0.00141，V_color从-降低至0.0142，展现出可测量的3D一致性。
• 在FFHQ数据集上，使用3D损失的StyleGAN的FID得分为24.2；在ShapeNet汽车数据集上为13.5，表明其图像质量与无条件模型相比具有竞争力或进一步提升。
• 与未使用3D损失的基线模型相比，该方法在3D一致性方面显著更优，表现为不同相机视角下深度与色彩方差更低。
• 即使在已使用3D潜在表示的模型（如DeepVoxels）上应用该3D一致性损失，其一致性指标仍得到进一步改善，证明该损失的有效性。
• 该方法可在无需架构修改或3D潜在空间的前提下，实现对PGGAN和StyleGAN等多种架构的相机参数条件图像生成。