[论文解读] Parts4Feature: Learning 3D Global Features from Generally Semantic Parts in Multiple Views

Zhizhong Han, Xinhai Liu+2 more|arXiv (Cornell University)|May 18, 2019

3D Shape Modeling and Analysis参考文献 24被引用 7

一句话总结

Parts4Feature 提出了一种深度神经网络，通过在多个视角中检测普遍语义部件（GSPs），学习3D全局形状特征，利用共享区域提议模块和多注意力机制聚合部件模式。该方法通过利用分割数据集中的部件级语义信息来增强全局特征的判别能力，在 ModelNet40、ModelNet10 和 ShapeNet55 基准测试中优于当前最先进方法。

ABSTRACT

Deep learning has achieved remarkable results in 3D shape analysis by learning global shape features from the pixel-level over multiple views. Previous methods, however, compute low-level features for entire views without considering part-level information. In contrast, we propose a deep neural network, called Parts4Feature, to learn 3D global features from part-level information in multiple views. We introduce a novel definition of generally semantic parts, which Parts4Feature learns to detect in multiple views from different 3D shape segmentation benchmarks. A key idea of our architecture is that it transfers the ability to detect semantically meaningful parts in multiple views to learn 3D global features. Parts4Feature achieves this by combining a local part detection branch and a global feature learning branch with a shared region proposal module. The global feature learning branch aggregates the detected parts in terms of learned part patterns with a novel multi-attention mechanism, while the region proposal module enables locally and globally discriminative information to be promoted by each other. We demonstrate that Parts4Feature outperforms the state-of-the-art under three large-scale 3D shape benchmarks.

研究动机与目标

• 为解决现有3D形状分析方法在多视角学习中忽略部件级信息的局限性。
• 实现在分类数据集中无需部件标注的情况下，将3D分割基准中的部件检测知识迁移到3D分类任务中。
• 通过一种新颖的多注意力机制聚合检测到的语义部件，提升全局特征的判别能力。
• 证明多视角中的部件级信息可提升3D形状分类与检索性能。

提出的方法

• 提出一种可在多种3D形状分割基准中检测的普遍语义部件（GSPs）的新定义。
• 设计一种双分支网络，采用共享区域提议模块，联合优化局部部件检测与全局特征学习。
• 采用受 Fast R-CNN 启发的分支，在多个视角中检测并定位 GSPs。
• 在全局特征学习分支中应用一种新颖的多注意力机制，以突出显示独特部件模式并抑制模糊模式。
• 基于检测到的语义部件进行视角级聚合，以防止池化操作导致的信息损失。
• 将分割数据集中的部件检测知识迁移到分类数据集中，以提升全局特征学习效果。

实验结果

研究问题

• RQ1 多视角中的部件级语义信息能否提升3D全局形状特征的判别能力？
• RQ2 深度学习模型如何在不依赖分类数据集中部件标注的情况下，有效将3D分割基准中的部件检测知识迁移到3D分类任务中？
• RQ3 使用多注意力机制聚合检测到的语义部件对全局特征质量有何影响？
• RQ4 共享区域提议模块能否通过促进判别性信息的相互增强，同时提升局部与全局特征学习？
• RQ5 在标准基准测试下，Parts4Feature 与最先进方法在3D形状分类与检索中的表现如何？

主要发现

• 在 ModelNet40 上，Parts4Feature 达到 96.15% 的 top-1 准确率，在 ModelNet10 上达到 96.14%，优于所有对比的最先进方法。
• 在 ShapeNet55 上，Parts4Feature 实现 90.2 的微平均 mAP，超越所有先前方法，包括 SVSL 和 VIPG。
• 即使仅使用 1% 的分割形状进行训练，Parts4Feature 在 ModelNet10 上仍达到 93.5% 的准确率，表明知识迁移效果显著。
• ModelNet10 和 ShapeNet55 的混淆矩阵显示对角线值较高，表明各类别分类性能均较强。
• 在 ModelNet40 和 ModelNet10 下的 PR 曲线对比证实了更优的检索性能，mAP 分别达到 91.5 和 93.8。
• 消融研究显示，即使训练数据有限，使用部件级信息也能显著提升性能，且随着使用更多分割形状，性能持续提升。