[论文解读] Weakly Supervised Deep Functional Map for Shape Matching

Abhishek Sharma, Maks Ovsjanikov|arXiv (Cornell University)|Sep 28, 2020

Machine Learning in Materials Science被引用 6

一句话总结

本文提出了一种弱监督的深度函数映射框架，用于非刚性形状匹配，在仅使用近似刚性对齐数据和极少监督的情况下实现了最先进性能。通过利用少量拉普拉斯特征函数并施加函数映射的基本结构约束，该方法优于完全监督方法，并实现了首个基于学习的局部形状匹配解决方案。

ABSTRACT

A variety of deep functional maps have been proposed recently, from fully supervised to totally unsupervised, with a range of loss functions as well as different regularization terms. However, it is still not clear what are minimum ingredients of a deep functional map pipeline and whether such ingredients unify or generalize all recent work on deep functional maps. We show empirically minimum components for obtaining state of the art results with different loss functions, supervised as well as unsupervised. Furthermore, we propose a novel framework designed for both full-to-full as well as partial to full shape matching that achieves state of the art results on several benchmark datasets outperforming even the fully supervised methods by a significant margin. Our code is publicly available at https://github.com/Not-IITian/Weakly-supervised-Functional-map

研究动机与目标

• 解决深度函数映射流程中最小必要组件理解不足的问题。
• 克服完全监督方法依赖昂贵真实对应关系的局限性。
• 在弱监督条件下（特别是近似刚性对齐）实现有效的基于学习的形状匹配。
• 开发首个基于函数映射的、用于局部非刚性形状匹配的基于学习的方法。
• 通过识别核心可重用组件，统一并推广近期的深度函数映射方法。

提出的方法

• 直接从原始网格学习3D形状描述符，基于近似刚性对齐的弱监督信号。
• 将学习到的特征投影到低维拉普拉斯特征基（30个分量）上，以强制实现几何一致性并降低复杂度。
• 应用由正则化项组成的无监督损失函数，以强制实现函数映射的结构特性（例如正交性、低秩结构）。
• 引入一种数据驱动方法，学习源和目标拉普拉斯特征基之间的最优对齐，以实现鲁棒的局部形状匹配。
• 端到端训练模型，无需真实点对点对应关系或复杂正则化器。
• 使用单一、无需超参数的损失函数，可泛化至不同损失函数和数据集。

实验结果

研究问题

• RQ1 在基于深度函数映射的形状匹配中，实现最先进性能所需的最小组件是什么？
• RQ2 弱监督（特别是近似刚性对齐）能否替代昂贵的真实对应关系，同时保持或提升性能？
• RQ3 结合低秩拉普拉斯特征基表示与基本结构约束，是否能在多样化损失函数和架构间实现泛化？
• RQ4 能否成功将基于学习的函数映射框架扩展至局部形状匹配（即形状部分缺失）？
• RQ5 是否可能在不依赖复杂正则化器或昂贵推理时间优化的情况下实现最先进性能？

主要发现

• 所提方法在完整形状匹配基准上优于完全监督的最先进方法，即使没有真实对应关系。
• 仅使用30个拉普拉斯特征函数和基于刚性对齐的弱监督，即可在多个损失函数上实现最先进结果。
• 该方法在SHREC’16局部对应基准上达到最先进性能，优于Litany等人（2017b）的非学习最先进方法。
• 模型在不同数据集和损失函数间具有泛化能力，表明当使用最小组件时，复杂正则化器和描述符是冗余的。
• 所提的局部形状匹配方法是首个基于函数映射的基于学习方法，实现了无需推理时间优化的直接推理。
• 消融实验表明，从先前模型中移除复杂组件（如真实映射、正则化器），并替换为所提的最小化流程，可获得相当或更优结果。