[论文解读] Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild

Shangzhe Wu, Christian Rupprecht+1 more|arXiv (Cornell University)|Nov 25, 2019

Advanced Vision and Imaging参考文献 71被引用 14

一句话总结

本文提出一种无监督深度自编码器，通过利用概率对称性和光照建模，将单视角图像解耦为深度、反照率、视角和光照。该方法在无任何2D/3D监督或先验形状模型的情况下，在人脸、猫和汽车的3D重建中实现了最先进（SOTA）的保真度，优于使用2D关键点监督的方法。

ABSTRACT

We propose a method to learn 3D deformable object categories from raw single-view images, without external supervision. The method is based on an autoencoder that factors each input image into depth, albedo, viewpoint and illumination. In order to disentangle these components without supervision, we use the fact that many object categories have, at least in principle, a symmetric structure. We show that reasoning about illumination allows us to exploit the underlying object symmetry even if the appearance is not symmetric due to shading. Furthermore, we model objects that are probably, but not certainly, symmetric by predicting a symmetry probability map, learned end-to-end with the other components of the model. Our experiments show that this method can recover very accurately the 3D shape of human faces, cat faces and cars from single-view images, without any supervision or a prior shape model. On benchmarks, we demonstrate superior accuracy compared to another method that uses supervision at the level of 2D image correspondences.

研究动机与目标

• 从无约束的单视角图像中无监督地学习可变形物体类别。
• 利用几何先验，无监督地解耦图像因子（深度、反照率、视角、光照）。
• 通过学习的对称性概率图，建模‘可能’对称而非严格对称的物体。
• 通过利用对称性，即使在光照或外观不对称的情况下，也能提升3D重建保真度。
• 在无需微调的情况下，泛化至真实世界图像和非照片级真实感图像（如绘画、卡通）。

提出的方法

• 该方法使用自编码器，无监督地将输入图像分解为深度、反照率、视角和光照分量。
• 引入对称性概率图，端到端学习每个像素具有对称对应像素的可能性。
• 显式建模光照，以在外观因光照而不对称时仍能利用对称性。
• 通过训练过程中特征翻转来强制实施对称性，从而实现对对称结构的概率推理。
• 模型仅使用原始RGB图像和重建损失进行训练，无需真实3D数据或关键点标注。
• 使用标准视角表示3D形状（通过深度图），适用于人脸等凸形物体。

实验结果

研究问题

• RQ1 能否在无任何监督的情况下，从单视角图像中解耦出3D形状、反照率、视角和光照？
• RQ2 在真实世界数据中缺乏完美对称性的情况下，如何将对称性作为几何先验加以利用？
• RQ3 当外观因光照而不对称时，光照建模能否提升3D重建质量？
• RQ4 学习得到的对称性概率图是否能提升对可变形、非对称物体的重建保真度？
• RQ5 该模型能否在无需微调的情况下泛化至非照片级真实感图像（如素描和绘画）？

主要发现

• 与缺乏3D监督的无监督基线方法[49]和[56]相比，该方法在人脸、猫脸和汽车上的3D重建质量显著更优。
• 在3DFAW基准上，该模型优于使用2D关键点监督的DepthNet方法，在无任何此类标注的情况下实现了接近有监督的性能。
• 该模型可泛化至非自然图像，包括人脸绘画和卡通图像，无需微调，表明其对域偏移具有鲁棒性。
• 在合成人脸上的消融实验证实，对称性和光照建模显著提升了重建精度。
• 失败案例出现在极端光照、非朗伯表面或极端姿态下，此时朗伯光照假设失效。
• 该模型生成了具有精细面部细节的高保真3D重建，在定性比较中优于先前的无监督方法。