[论文解读] Shape Completion via IMLE

Himanshu Arora, S. Mishra+3 more|arXiv (Cornell University)|Jun 30, 2021

3D Shape Modeling and Analysis被引用 1

一句话总结

本文提出一种基于条件隐式最大似然估计（IMLE）的多模态形状补全方法，用于从部分3D点云学习一对一到多对多的映射，从而实现多样化且完整的形状生成。该方法显著提升了现有单对单映射方法在形状多样性与完整性方面的表现。

ABSTRACT

Shape completion is the problem of completing partial input shapes such as partial scans. This problem finds important applications in computer vision and robotics due to issues such as occlusion or sparsity in real-world data. However, most of the existing research related to shape completion has been focused on completing shapes by learning a one-to-one mapping which limits the diversity and creativity of the produced results. We propose a novel multimodal shape completion technique that is effectively able to learn a one-to-many mapping and generates diverse complete shapes. Our approach is based on the conditional Implicit MaximumLikelihood Estimation (IMLE) technique wherein we condition our inputs on partial 3D point clouds. We extensively evaluate our approach by comparing it to various baselines both quantitatively and qualitatively. We show that our method is superior to alternatives in terms of completeness and diversity of shapes

研究动机与目标

• 解决现有形状补全方法依赖单对单映射所导致的形状多样性受限的问题。
• 实现从部分3D点云生成多样化且逼真的完整形状。
• 开发一种能有效捕捉多模态形状分布的学习框架。
• 与先前方法相比，提升形状补全结果的完整性和多样性。

提出的方法

• 该方法采用条件隐式最大似然估计（IMLE）来建模给定部分输入时完整形状的分布。
• 通过部分3D点云对生成过程进行条件控制，以指导缺失几何结构的补全。
• 通过建模完整形状的条件分布，学习一对一到多对多的映射，从而实现多样化输出。
• 采用隐式似然估计进行端到端训练，避免显式密度估计。
• 利用深度神经网络参数化条件生成函数。
• 通过从学习到的条件分布中采样，支持多模态生成。

实验结果

研究问题

• RQ1 形状补全方法能否有效学习一对一到多对多的映射，从而从部分输入生成多样化形状？
• RQ2 与现有单对单映射方法相比，条件IMLE在形状多样性与完整性方面表现如何？
• RQ3 所提出方法在不同部分扫描模式和形状上的泛化能力如何？
• RQ4 多模态建模对生成形状的真实感与结构保真度有何影响？

主要发现

• 所提方法在形状多样性方面显著优于学习单对单映射的基线方法。
• 定量评估证实生成形状的完整性得到提升，表明缺失部分的重建效果更优。
• 定性结果表明，该模型能生成多样化、合理且结构一致的完整形状。
• 该方法能有效捕捉多模态形状分布，对同一部分输入可生成多个有效补全结果。
• 条件IMLE的使用实现了稳定训练与高质量生成，且无需显式密度建模。
• 该方法在不同部分扫描类型和物体类别上均表现出良好的泛化能力。