[论文解读] Self-supervised Learning of 3D Objects from Natural Images

Hiroharu Kato, Tatsuya Harada|arXiv (Cornell University)|Nov 20, 2019

3D Shape Modeling and Analysis参考文献 49被引用 8

一句话总结

本文提出一种自监督方法，用于从分类自然图像中进行单视角3D重建，采用两阶段训练流程：首先在固定姿态和纹理下学习类别特定的基础形状，然后优化姿态和纹理。该方法在CIFAR-10和PASCAL 3D+数据集上无需3D监督即可实现有意义的3D重建，证明了在超越合成数据集（如ShapeNet）的真实世界类别中的可行性。

ABSTRACT

We present a method to learn single-view reconstruction of the 3D shape, pose, and texture of objects from categorized natural images in a self-supervised manner. Since this is a severely ill-posed problem, carefully designing a training method and introducing constraints are essential. To avoid the difficulty of training all elements at the same time, we propose training category-specific base shapes with fixed pose distribution and simple textures first, and subsequently training poses and textures using the obtained shapes. Another difficulty is that shapes and backgrounds sometimes become excessively complicated to mistakenly reconstruct textures on object surfaces. To suppress it, we propose using strong regularization and constraints on object surfaces and background images. With these two techniques, we demonstrate that we can use natural image collections such as CIFAR-10 and PASCAL objects for training, which indicates the possibility to realize 3D object reconstruction on diverse object categories beyond synthetic datasets.

研究动机与目标

• 在无3D监督的情况下，实现从分类自然图像中对物体形状、姿态和纹理的自监督3D重建。
• 通过训练设计和正则化引入结构归纳偏置，解决单视角3D重建的病态问题。
• 证明仅使用自然图像集合即可学习多样化的物体类别，而不仅限于合成数据集（如ShapeNet）。
• 通过仅利用图像级别类别标签和自然图像数据，减少对昂贵3D标注的依赖。

提出的方法

• 采用两阶段训练策略：首先在固定姿态分布和简单纹理下训练类别特定的基础形状，然后利用学习到的基础形状优化姿态和纹理。
• 使用渲染-比较损失：从估计的3D形状、姿态、纹理和背景重建图像，然后通过预训练图像特征最小化特征级重建误差。
• 对形状表面施加强正则化，以确保平滑性并防止对背景纹理的过拟合。
• 通过正则化背景图像为低复杂度，实现背景简化，减少虚假重建。
• 使用可微分渲染器从3D参数生成图像，支持端到端优化。
• 利用预训练特征提取器（如AlexNet）在中间特征图上计算重建损失，以提升泛化能力。

实验结果

研究问题

• RQ1 能否在无任何3D监督的情况下，从自然图像中重建出3D形状、姿态和纹理？
• RQ2 自监督方法能否泛化到超越合成数据集（如ShapeNet）的多样化物体类别？
• RQ3 在自监督3D重建中，如何防止平凡或低质量解（如用单一物体覆盖图像或将物体缩小为一个像素）？
• RQ4 结构先验（如形状相似性、表面平滑性、背景简洁性）在多大程度上能提升自监督3D学习性能？
• RQ5 两阶段训练（先聚焦基础形状）是否能提升3D重建的稳定性和质量？

主要发现

• 在CIFAR-10上，该方法实现了具有竞争力的3D重建质量，验证集上的平均姿态估计准确率达到0.65。
• 在PASCAL 3D+上，模型在验证集上的姿态估计准确率达到0.38，表明其能泛化到真实世界物体类别。
• 模型在PASCAL 3D+上成功学习到汽车、椅子和马的合理基础形状，但因姿态歧义较高，飞机类性能下降。
• 在CIFAR-10上，该方法无法泛化到猫和狗类别，因类内形状差异大，表明在处理高变形情况时存在局限性。
• 基于预训练特征的重建损失不足以捕捉细粒度细节，导致马腿等小特征重建效果差。
• 该方法对表面平滑性正则化超参数敏感，表明需要更稳健的物体自然性度量方法。