[论文解读] Unsupervised 3D Reconstruction from a Single Image via Adversarial Learning

Lingjing Wang, Yi Fang|arXiv (Cornell University)|Nov 26, 2017

Advanced Vision and Imaging参考文献 19被引用 10

一句话总结

该论文提出了一种基于对抗学习的无监督单张2D图像3D重建框架，无需成对的真实世界图像-3D模型标注。通过训练对抗自编码器，将合成图像和真实图像域在共享潜在空间中对齐，并联合优化3D反卷积网络，该方法即使在人类草图等未见风格上也能实现鲁棒的3D体素生成，在Pascal 3D+数据集的椅子类别上达到0.241的IoU。

ABSTRACT

Recent advancements in deep learning opened new opportunities for learning a high-quality 3D model from a single 2D image given sufficient training on large-scale data sets. However, the significant imbalance between available amount of images and 3D models, and the limited availability of labeled 2D image data (i.e. manually annotated pairs between images and their corresponding 3D models), severely impacts the training of most supervised deep learning methods in practice. In this paper, driven by a novel design of adversarial networks, we have developed an unsupervised learning paradigm to reconstruct 3D models from a single 2D image, which is free of manually annotated pairwise input image and its associated 3D model. Particularly, the paradigm begins with training an adaption network via autoencoder with adversarial loss, which embeds unpaired 2D synthesized image domain with real world image domain to a shared latent vector space. Then, we jointly train a 3D deconvolutional network to transform the latent vector space to the 3D object space together with the embedding process. Our experiments verify our network's robust and superior performance in handling 3D volumetric object generation from a single 2D image.

研究动机与目标

• 解决在缺乏或无法获取图像-3D模型配对标注时，从单张2D图像进行3D重建的挑战。
• 克服合成训练数据与真实世界测试数据（如人类草图）之间的域偏移问题。
• 开发一种无监督框架，可在无需成对监督的情况下泛化至多种图像风格。
• 实现在无任何真实3D标签的成对数据下，从无配对的真实输入（如草图）生成3D物体。
• 仅使用无配对的图像和3D数据，实现鲁棒且高质量的3D体素重建。

提出的方法

• 训练对抗自编码器，将无配对的真实图像和合成图像映射到共享潜在向量空间，实现域自适应。
• 使用3D反卷积网络直接从共享潜在空间生成3D体素化物体。
• 通过对抗损失联合优化自编码器和3D生成网络，以提升特征解耦与重建保真度。
• 利用循环一致性与对抗训练，在无成对数据的情况下对齐真实与合成图像的潜在空间。
• 将训练好的模型应用于真实世界图像（包括人类草图）的零样本推理，无需任何微调。
• 采用能解耦内容与风格的潜在空间，实现对未见图像域的泛化能力。

实验结果

研究问题

• RQ1 能否在完全无真实图像-3D模型配对监督的情况下实现从单张2D图像进行3D重建？
• RQ2 在3D生成中，如何有效缓解合成训练数据与真实世界测试数据（如草图）之间的域偏移问题？
• RQ3 对抗学习能否在真实与合成图像域之间实现解耦且共享的潜在表征，以支持3D生成？
• RQ4 该模型在无真实3D标签的未见图像风格（如人类草图）上能多大程度上实现泛化？
• RQ5 所提出的无监督框架是否在真实世界、分布外的测试数据上优于有监督基线方法？

主要发现

• 在Pascal 3D+数据集的椅子类别上，该方法实现了0.241的IoU，显著优于无域适应的基线2D-3D网络（0.153 IoU）。
• 对于椅子类别，该模型在无任何标注数据的情况下，性能与有监督方法（如3D-R2N2）相当或更优。
• 模型在人类草图上泛化效果良好，在80个草图样本中重建失败率低于15%。
• 大多数情况下，重建的3D模型能捕捉整体形状和关键结构特征（如扶手、腿部），但细微特征（如独特的背部设计）常会丢失。
• 消融实验证实，通过对抗域对齐进行嵌入的过程至关重要——若无此过程，真实世界数据上的性能会急剧下降。
• 该方法实现了从人类草图生成3D物体，这一任务此前因缺乏3D标签而未被探索，证明了零样本3D生成的可行性。