[论文解读] Multiple Discrimination and Pairwise CNN for View-based 3D Object Retrieval

Zan Gao, Kaixin Xue+1 more|arXiv (Cornell University)|Feb 27, 2020

Advanced Image and Video Retrieval Techniques参考文献 42被引用 4

一句话总结

该论文提出MDPCNN，一种用于基于视图的3D物体检索的新型成对CNN框架，通过在训练中同时处理多个批次和多个视图（利用Slice和Concat层）来增强特征判别能力。通过聚类实现的难样本挖掘以及对比损失与对比中心损失的联合优化，该方法在ModelNet40、MVRED和NTU60数据集上实现了SOTA性能，mAP提升最高达87.6%。

ABSTRACT

With the rapid development and wide application of computer, camera device, network and hardware technology, 3D object (or model) retrieval has attracted widespread attention and it has become a hot research topic in the computer vision domain. Deep learning features already available in 3D object retrieval have been proven to be better than the retrieval performance of hand-crafted features. However, most existing networks do not take into account the impact of multi-view image selection on network training, and the use of contrastive loss alone only forcing the same-class samples to be as close as possible. In this work, a novel solution named Multi-view Discrimination and Pairwise CNN (MDPCNN) for 3D object retrieval is proposed to tackle these issues. It can simultaneously input of multiple batches and multiple views by adding the Slice layer and the Concat layer. Furthermore, a highly discriminative network is obtained by training samples that are not easy to be classified by clustering. Lastly, we deploy the contrastive-center loss and contrastive loss as the optimization objective that has better intra-class compactness and inter-class separability. Large-scale experiments show that the proposed MDPCNN can achieve a significant performance over the state-of-the-art algorithms in 3D object retrieval.

研究动机与目标

• 解决现有3D物体检索方法依赖手工设计特征、在光照和视角变化下性能不稳定的问题。
• 克服当前基于深度学习的检索网络在多视图图像选择方面考虑不足以及类间可分性不够的问题。
• 开发一种端到端、高度判别性的CNN架构，以提升类内紧凑性和类间可分性，从而提高检索准确率。
• 探究多批次训练、难样本选择以及联合损失函数设计对检索性能的影响。

提出的方法

• 提出一种新型网络架构MDPCNN，利用Slice和Concat层实现在训练过程中同时输入多个批次和多个视图。
• 采用基于聚类的样本选择策略，识别并优先处理难以分类的样本用于成对训练，从而增强模型判别能力。
• 应用结合对比损失与对比中心损失的双损失函数，以促进类内紧凑性和类间可分性。
• 采用端到端训练范式，避免对深层特征进行后处理，实现对检索性能的直接优化。
• 采用成对训练方式，正负样本来源于同一3D物体的多个视图，提升训练样本多样性。
• 通过低秩马氏距离度量学习进行微调，进一步优化特征表示。

实验结果

研究问题

• RQ1 通过Slice和Concat层实现的多批次与多视图输入，如何影响3D物体检索网络的训练动态与性能？
• RQ2 基于聚类的难样本挖掘在多视图3D检索中，能在多大程度上提升模型判别能力？
• RQ3 对比损失与对比中心损失的联合优化，如何促进类内紧凑性与类间可分性？
• RQ4 批次结构、样本选择与损失函数设计对整体检索准确率的相对贡献如何？

主要发现

• MDPCNN在ModelNet40数据集上达到87.6%的平均平均精度（mAP），显著优于现有SOTA方法。
• 消融实验表明，仅使用多批次结构即可在单批次训练基础上提升性能，而结合难样本选择可获得进一步增益。
• 基于聚类的样本选择方法通过聚焦最难分类的样本，增强了模型泛化能力，带来可测量的性能提升。
• 对比损失与对比中心损失的联合优化显著提升了特征判别能力，尤其在MVRED和NTU60数据集上表现突出。
• 网络收敛迅速，在ETH上仅需3个周期即可收敛，在MVRED和NTU60上也仅需5个周期，表明训练具有强稳定性。
• 所提方法在ModelNet40、MVRED和NTU60等多样化基准数据集上均表现出鲁棒性与可扩展性。