[论文解读] Self-supervised Single-view 3D Reconstruction via Semantic Consistency

Xueting Li, Sifei Liu+5 more|arXiv (Cornell University)|Mar 13, 2020

3D Shape Modeling and Analysis参考文献 51被引用 7

一句话总结

该论文提出了一种自监督的单视角3D重建方法，仅使用2D图像和轮廓图即可预测3D网格形状、纹理和相机位姿，无需3D监督、关键点标注、多视角数据或类别特定模板。通过利用自监督的语义部件分割，并借助规范UV图在2D部件与3D网格部件之间强制实现语义一致性，该方法减少了相机-形状模糊性，在包括可变形和刚性物体在内的多种物体类别中实现了与监督SOTA方法相当的性能。

ABSTRACT

We learn a self-supervised, single-view 3D reconstruction model that predicts the 3D mesh shape, texture and camera pose of a target object with a collection of 2D images and silhouettes. The proposed method does not necessitate 3D supervision, manually annotated keypoints, multi-view images of an object or a prior 3D template. The key insight of our work is that objects can be represented as a collection of deformable parts, and each part is semantically coherent across different instances of the same category (e.g., wings on birds and wheels on cars). Therefore, by leveraging self-supervisedly learned part segmentation of a large collection of category-specific images, we can effectively enforce semantic consistency between the reconstructed meshes and the original images. This significantly reduces ambiguities during joint prediction of shape and camera pose of an object, along with texture. To the best of our knowledge, we are the first to try and solve the single-view reconstruction problem without a category-specific template mesh or semantic keypoints. Thus our model can easily generalize to various object categories without such labels, e.g., horses, penguins, etc. Through a variety of experiments on several categories of deformable and rigid objects, we demonstrate that our unsupervised method performs comparably if not better than existing category-specific reconstruction methods learned with supervision.

研究动机与目标

• 通过消除对3D监督、关键点标注或多视角数据的依赖，解决单视角3D重建的病态性问题。
• 通过2D图像部件与3D网格部件之间的语义一致性，减少3D重建中的相机-形状模糊性。
• 通过从零开始学习类别级形状模板，实现对缺乏明确关键点的物体类别（如企鹅）的零样本泛化。
• 通过迭代学习，联合优化实例级重建与类别级模板网格，且无需先验形状先验。

提出的方法

• 使用自监督协同部件分割（SCOPS）识别同一物体类别中2D图像的语义部件。
• 从多个实例的对齐语义部件预测中构建类别级规范语义UV图。
• 将规范UV图中的语义部件标签投影到重建的3D网格表面，以强制实现3D-2D语义一致性。
• 在2D部件分割与3D网格部件标签之间施加语义一致性损失，以解决形状与位姿的模糊性问题。
• 使用可微分渲染器和对抗性损失端到端训练重建模型，以提升纹理和几何保真度。
• 通过迭代方式优化实例级网格和共享的类别级模板网格，且无需预定义的3D模板。

实验结果

研究问题

• RQ1 在无3D监督的情况下，自监督的语义部件一致性是否能减少单视角3D重建中的相机-形状模糊性？
• RQ2 语义一致性在实现对缺乏关键点标注或模板的物体类别的泛化方面有多有效？
• RQ3 能否仅使用2D图像和轮廓图从零开始学习类别级3D模板？
• RQ4 语义一致性与对抗性训练对重建质量及关键点迁移性能的贡献是什么？

主要发现

• 所提方法在CUB-200-2011数据集上实现了25.0的APK（关键点迁移平均精度），优于监督基线方法CSM。
• 语义部件分割的掩码IoU达到0.734，若移除语义一致性损失则降至0.6069，证明其关键作用。
• 该模型提升了自监督SCOPS部件分割模型，表明重建与部件学习之间存在相互促进关系。
• 消融实验证明，基于概率的语义一致性损失与基于顶点的语义一致性损失均显著提升了关键点迁移性能。
• 该方法在企鹅、斑马等缺乏明确关键点的类别上泛化良好，且无需类别特定先验即可完成重建。
• 对抗性训练增强了几何与纹理细节，减少了鸟类中错误肢体数量等伪影。