[论文解读] Unsupervised Detection of Distinctive Regions on 3D Shapes

Xianzhi Li, Lequan Yu+3 more|arXiv (Cornell University)|May 5, 2019

3D Shape Modeling and Analysis参考文献 60被引用 4

一句话总结

该论文提出了一种无监督深度学习方法，通过点云检测3D形状上的显著区域，利用基于聚类的联合softmax损失与对比损失，无须标签即可学习每个点的显著性。核心贡献是一种自监督框架，能够相对于形状类别识别区域级显著性，实现在ModelNet40数据集上达到最先进性能的检索、采样和视角选择应用。

ABSTRACT

This paper presents a novel approach to learn and detect distinctive regions on 3D shapes. Unlike previous works, which require labeled data, our method is unsupervised. We conduct the analysis on point sets sampled from 3D shapes, then formulate and train a deep neural network for an unsupervised shape clustering task to learn local and global features for distinguishing shapes with respect to a given shape set. To drive the network to learn in an unsupervised manner, we design a clustering-based nonparametric softmax classifier with an iterative re-clustering of shapes, and an adapted contrastive loss for enhancing the feature embedding quality and stabilizing the learning process. By then, we encourage the network to learn the point distinctiveness on the input shapes. We extensively evaluate various aspects of our approach and present its applications for distinctiveness-guided shape retrieval, sampling, and view selection in 3D scenes.

研究动机与目标

• 开发一种无需依赖手工设计特征或标注数据的无监督方法，用于检测3D形状上的显著区域。
• 学习反映相对于给定集合中其他形状的区域显著性的逐点与逐形状特征。
• 实现诸如显著性引导的形状检索、点采样与3D场景中最佳视角选择等应用。
• 解决在类内设置中区分细微形状差异的挑战，此时全局特征已不足以区分。

提出的方法

• 将每个3D形状表示为点云，以实现灵活且轻量化的输入表示。
• 设计一个在无监督聚类任务上训练的深度神经网络，以学习具有区分性的逐点与逐形状特征。
• 构建一种联合损失函数，结合基于聚类的非参数化softmax损失与改进的对比损失，以稳定训练并提升特征质量。
• 利用训练后网络的逐点特征，为每个点分配一个显著性分数，反映其在形状集合中的独特性。
• 将显著性分数投影回原始网格，以识别表面上的显著区域。
• 通过最大化所选视角中显著性，将学习到的显著性应用于下游任务，如形状检索、采样与视角选择。

实验结果

研究问题

• RQ1 是否可以在无任何标注数据或预定义局部特征的情况下，有效实现无监督的显著性学习？
• RQ2 网络在类间与类内形状集合中检测显著区域的能力有何差异？
• RQ3 显著区域在多大程度上提升了形状分类与检索性能？
• RQ4 显著性引导的采样与视角选择能否在保留形状信息方面优于基线方法？

主要发现

• 该方法在显著性引导的形状检索任务中达到最先进性能，优于FoldingNet等通用无监督特征学习方法。
• 在相同形状上检测到的显著区域显著依赖于参考数据集：类间检测强调全局轮廓，而类内检测则突出局部特征（如飞机上的引擎）。
• 远离显著区域的采样点对分类准确率影响极小，证实这些区域对形状区分至关重要。
• 网络能够通过最大化可见点的平均显著性，自动选择3D场景中的最优视角，优于随机或最差视角。
• 该方法可检测到非对称的显著区域，提示未来工作可引入形状对称性先验以进一步提升性能。