[论文解读] Unsupervised 3D Shape Learning from Image Collections in the Wild

Attila Szabó, Paolo Favaro|arXiv (Cornell University)|Nov 26, 2018

3D Shape Modeling and Analysis参考文献 27被引用 4

一句话总结

该论文提出了一种完全无监督的方法，从无配对的图像集合中学习3D形状和纹理，无需任何标注、模板或3D监督。该方法使用生成对抗网络（GAN）与可微渲染器，训练一个能够合成逼真3D物体和视角的模型，在真实和合成数据上实现了最先进的无监督3D重建性能。

ABSTRACT

We present a method to learn the 3D surface of objects directly from a collection of images. Previous work achieved this capability by exploiting additional manual annotation, such as object pose, 3D surface templates, temporal continuity of videos, manually selected landmarks, and foreground/background masks. In contrast, our method does not make use of any such annotation. Rather, it builds a generative model, a convolutional neural network, which, given a noise vector sample, outputs the 3D surface and texture of an object and a background image. These 3 components combined with an additional random viewpoint vector are then fed to a differential renderer to produce a view of the sampled object and background. Our general principle is that if the output of the renderer, the generated image, is realistic, then its input, the generated 3D and texture, should also be realistic. To achieve realism, the generative model is trained adversarially against a discriminator that tries to distinguish between the output of the renderer and real images from the given data set. Moreover, our generative model can be paired with an encoder and trained as an autoencoder, to automatically extract the 3D shape, texture and pose of the object in an image. Our trained generative model and encoder show promising results both on real and synthetic data, which demonstrate for the first time that fully unsupervised 3D learning from image collections is possible.

研究动机与目标

• 从无配对的2D图像集合中实现3D形状和纹理重建，无需任何人工标注或3D模板。
• 消除对姿态、关键点、掩码或视频序列的依赖，这些通常是先前3D重建方法所依赖的。
• 开发一个生成模型，通过与可微渲染器结合的对抗训练，直接从图像数据中学习3D结构。
• 证明仅通过对抗性真实感强制视图一致性，即可纯粹从图像数据中学习逼真的3D形状。
• 在真实（CelebA）和合成（ShapeNet）数据集上验证该方法，证明完全无监督3D学习的可行性。

提出的方法

• 训练一个生成模型，将噪声向量映射为3D网格、纹理和背景图像。
• 使用可微渲染器从生成的3D物体和视角向量中合成新视角。
• 通过对抗训练方式，使生成器与判别器竞争，后者用于区分真实图像与渲染图像。
• 引入平滑损失（$\mathcal{L}_S$），通过惩罚非平滑的三角形法线来减少3D网格中的高频伪影。
• 作为自编码器设置的一部分，训练一个编码器，以从单张输入图像中推断3D形状、纹理和姿态。
• 优化组合目标：$\mathcal{L}_{GAN}(G,D) + \lambda_S \mathcal{L}_S(G)$，并通过视角采样覆盖多样化视角。

实验结果

研究问题

• RQ1 能否在无任何监督、模板或标注的情况下，从未配对的2D图像中学习3D形状？
• RQ2 是否可能仅使用图像级真实感作为监督信号，训练一个生成模型来生成逼真的3D物体和视角？
• RQ3 如何在保留有意义形状细节的同时，减轻生成3D网格中的高频伪影？
• RQ4 该模型在缺乏对象类别先验知识的情况下，对真实世界图像集合（如CelebA）的泛化能力如何？
• RQ5 自编码器组件能否在完全无监督的情况下，有效从单张图像中重建3D形状、纹理和姿态？

主要发现

• 该方法在CelebA数据集上实现了无任何标注的合理3D形状和纹理重建，证明了完全无监督3D学习的可行性。
• 引入平滑损失（$\mathcal{L}_S$）显著减少了3D网格中的高频伪影，同时保留了鼻子和嘴唇等主要面部特征。
• 若无平滑损失，生成的3D网格表现出明显的高频噪声；若平滑过度，模型则坍缩为平均椭球形状。
• 自编码器变体成功从单张图像中重建了3D形状和纹理，尽管细节程度低于有监督方法。
• 通过在径向范围超过阈值时调整大小，系统缓解了空心掩码模糊性问题。
• 在ShapeNet汽车类别上，该方法成功推广至合成数据，并实现了完整的360°视角渲染，证实了其在不同数据集间的鲁棒性。