[论文解读] The Whole Is Greater Than the Sum of Its Nonrigid Parts

Oshri Halimi, Ido Imanuel+5 more|arXiv (Cornell University)|Jan 27, 2020

3D Shape Modeling and Analysis参考文献 61被引用 11

一句话总结

本文提出了一种深度孪生自编码器，通过利用完整形状作为先验，统一解决了非刚性形状补全与部分对应问题，能够从单个姿态不同的部分扫描中重建出完整且细节丰富的3D模型。该方法在单视角可变形形状补全与密集对应任务上均取得了当前最优性能，在合成数据与真实数据上均显著优于先前方法，且对噪声、下采样及不同投影角度具有强鲁棒性。

ABSTRACT

According to Aristotle, a philosopher in Ancient Greece, "the whole is greater than the sum of its parts". This observation was adopted to explain human perception by the Gestalt psychology school of thought in the twentieth century. Here, we claim that observing part of an object which was previously acquired as a whole, one could deal with both partial matching and shape completion in a holistic manner. More specifically, given the geometry of a full, articulated object in a given pose, as well as a partial scan of the same object in a different pose, we address the problem of matching the part to the whole while simultaneously reconstructing the new pose from its partial observation. Our approach is data-driven, and takes the form of a Siamese autoencoder without the requirement of a consistent vertex labeling at inference time; as such, it can be used on unorganized point clouds as well as on triangle meshes. We demonstrate the practical effectiveness of our model in the applications of single-view deformable shape completion and dense shape correspondence, both on synthetic and real-world geometric data, where we outperform prior work on these tasks by a large margin.

研究动机与目标

• 通过利用完整形状作为几何先验，解决单视角非刚性形状补全的病态问题。
• 在单一端到端学习框架中统一部分形状匹配与非刚性形状补全任务。
• 实现在无需一致顶点标记的情况下，从部分扫描中准确重建完整且详细的3D形状。
• 在极端部分性、噪声及不同视角下实现鲁棒性能。
• 在合成数据集（FAUST）和真实世界数据集（AMASS）上均展示当前最优结果。

提出的方法

• 训练一个孪生编码器-解码器架构，以预测一个形变场，将完整形状映射至不同姿态下的部分扫描。
• 采用自监督方式训练，使用通过非刚性变换关联的成对完整形状与部分形状。
• 形变预测基于来自完整形状（用于身份识别）和部分形状（用于姿态信息）的几何特征。
• 该方法在无组织点云和三角网格上运行，推理时无需一致的顶点对应关系。
• 通过部分形状与重建完整形状之间的最近邻搜索恢复密集对应关系。
• 该架构对方位投影角度具有不变性，且对顶点噪声与下采样具有鲁棒性。

实验结果

研究问题

• RQ1 深度学习模型能否利用完整形状作为先验，从单个部分扫描中重建出完整且详细的3D形状？
• RQ2 在极端部分性条件下，统一框架在联合求解非刚性形状补全与部分对应任务时表现如何？
• RQ3 该方法在真实扫描中对噪声、顶点下采样及不同投影角度的鲁棒性如何？
• RQ4 该模型能否在无需一致顶点标记的情况下，泛化到多样化的主体与姿态？
• RQ5 与仅依赖部分数据的方法相比，利用完整形状的内在几何结构是否能显著提升重建保真度？

主要发现

• 该方法在单视角可变形形状补全任务上达到当前最优性能，在FAUST与AMASS数据集上均显著优于先前方法。
• 即使在添加4 cm的加性白高斯噪声条件下，模型仍保持高重建精度，仅出现轻微性能下降。
• 验证了对顶点下采样的鲁棒性，即使在显著减少顶点数量后，重建结果仍保持准确。
• 不同投影角度下的误差分布近乎均匀，表明具有强方位不变性，且在不同视角下性能一致。
• 通过部分输入与重建形状之间的最近邻匹配，成功恢复了密集非刚性对应关系，并通过定性和定量验证。
• 该方法每轮推理耗时不足一秒，展现出适用于实时应用的高效率。