[论文解读] Multimodal Shape Completion via Conditional Generative Adversarial Networks

Rundi Wu, Xuelin Chen+2 more|arXiv (Cornell University)|Mar 17, 2020

3D Shape Modeling and Analysis参考文献 38被引用 6

一句话总结

本文提出一种条件生成对抗网络（cGAN）用于多模态3D形状补全，能够在无需成对训练数据的情况下，从不完整的点云生成多样化且高质量的补全结果。通过从完整形状中学习多模态潜在分布，并将其作为生成条件，该方法在补全结果中同时实现了高多样性与高保真度，在定性和定量评估中均优于单输出基线方法。

ABSTRACT

Several deep learning methods have been proposed for completing partial data from shape acquisition setups, i.e., filling the regions that were missing in the shape. These methods, however, only complete the partial shape with a single output, ignoring the ambiguity when reasoning the missing geometry. Hence, we pose a multi-modal shape completion problem, in which we seek to complete the partial shape with multiple outputs by learning a one-to-many mapping. We develop the first multimodal shape completion method that completes the partial shape via conditional generative modeling, without requiring paired training data. Our approach distills the ambiguity by conditioning the completion on a learned multimodal distribution of possible results. We extensively evaluate the approach on several datasets that contain varying forms of shape incompleteness, and compare among several baseline methods and variants of our methods qualitatively and quantitatively, demonstrating the merit of our method in completing partial shapes with both diversity and quality.

研究动机与目标

• 为解决现有形状补全方法仅生成单一确定性输出、忽略缺失几何结构固有模糊性的问题。
• 通过学习可能补全结果的多模态分布，实现形状补全的一对多映射。
• 通过利用条件生成建模和显式模式编码器，实现在无需成对训练数据情况下的多模态补全。
• 通过训练专用编码器以建模完整形状的分布，缓解潜在空间中的模式崩溃问题。

提出的方法

• 设计了一种条件生成对抗网络框架，其中生成器将部分形状与潜在向量映射为补全形状，条件基于学习到的多模态分布。
• 训练一个模式编码器，将完整形状映射到低维潜在空间，显式建模可能补全结果的分布。
• 通过对抗损失训练生成器，使其生成的补全结果与真实完整形状难以区分。
• 重建损失确保补全结果与输入部分形状保持一致，而潜在空间重建损失则促进不同补全模式之间的解耦与多样性。
• 通过从生成输出中恢复潜在向量，强制实现潜在空间与输出模式之间的双射映射。
• 该框架使用未配对的真实扫描数据进行端到端训练，可直接应用于真实世界数据。

实验结果

研究问题

• RQ1 深度生成模型是否能够在无需成对训练数据的情况下，为不完整的3D形状生成多样化且高质量的补全结果？
• RQ2 如何在低维潜在空间中有效建模并解耦形状补全的多模态性？
• RQ3 具有显式模式编码器的条件生成对抗网络在保持输入保真度的同时，能在多大程度上避免模式崩溃？
• RQ4 输入不完整程度如何影响生成补全结果的多样性？
• RQ5 所提出方法在具有不同程度不完整的现实扫描数据上是否具备泛化能力？

主要发现

• 在真实扫描数据上，该方法的Fréchet Point Cloud Distance（FID）为2.42×10⁻³，表明补全结果质量极高。
• 在真实扫描数据上，该方法的Total Mode Distance（TMD）为3.17×10⁻²，Uniqueness-Hausdorff Distance（UHD）为8.60×10⁻²，证明了其在多样性与保真度方面的优异表现。
• 随着输入不完整程度的增加，补全结果的多样性（TMD）也随之提升，证实了模型在更高模糊性下生成更多样化输出的能力。
• t-SNE可视化显示，增加潜在损失项的权重可使模式更加分明，从而减少模式崩溃现象。
• 在定性和定量评估中，该方法均优于基线方法，能够持续生成多样化且忠实的补全结果。
• 消融实验表明，平衡重建损失与潜在损失对于同时保持补全结果的多样性与保真度至关重要。