[论文解读] Selective Deep Convolutional Features for Image Retrieval

Tuan Hoang, Thanh-Toan Do+2 more|arXiv (Cornell University)|Jul 4, 2017

Advanced Image and Video Retrieval Techniques参考文献 40被引用 7

一句话总结

该论文提出了一种用于图像检索的新框架，通过应用选择性掩码（SIFT-mask、SUM-mask、MAX-mask）来增强深度卷积特征，以减少冗余特征并提高判别能力，随后采用最先进嵌入与聚合方法。该方法在多个基准测试中实现了最先进检索准确率，在1024维下mAP提升超过2.5%，同时计算成本降低高达70%。

ABSTRACT

Convolutional Neural Network (CNN) is a very powerful approach to extract discriminative local descriptors for effective image search. Recent work adopts fine-tuned strategies to further improve the discriminative power of the descriptors. Taking a different approach, in this paper, we propose a novel framework to achieve competitive retrieval performance. Firstly, we propose various masking schemes, namely SIFT-mask, SUM-mask, and MAX-mask, to select a representative subset of local convolutional features and remove a large number of redundant features. We demonstrate that this can effectively address the burstiness issue and improve retrieval accuracy. Secondly, we propose to employ recent embedding and aggregating methods to further enhance feature discriminability. Extensive experiments demonstrate that our proposed framework achieves state-of-the-art retrieval accuracy.

研究动机与目标

• 为解决深度卷积特征中的突发性问题（burstiness problem），该问题会降低图像检索性能。
• 在不完全依赖网络深度或微调的情况下，提升局部卷积特征的判别能力。
• 通过有效的掩码方案消除冗余特征，从而降低计算成本。
• 证明嵌入与聚合技术可显著增强特征判别能力，即使在已具备强大性能的深度特征上亦然。
• 通过轻量化、高效的框架实现最先进检索准确率，并兼容微调网络。

提出的方法

• 提出三种掩码方案：SIFT-mask（使用SIFT检测器响应）、SUM-mask（在特征通道上进行求和池化）、MAX-mask（在通道上进行最大池化），以选择具有代表性的局部特征。
• 对所选特征应用最先进嵌入与聚合技术（如Jégou & Zisserman, 2014；Do et al., 2015），以进一步提升判别能力。
• 以卷积层的3D激活张量作为输入，支持与预训练及微调CNN（如VGG）的兼容性。
• 采用两阶段框架：(1) 通过掩码进行特征选择；(2) 嵌入与聚合，生成最终图像表征。
• 在准确率与效率之间进行优化，处理时间在标准CPU上基于Oxford5k进行测量。
• 在Oxford5k、Paris106k和Holidays等多个基准上，以mAP为主要评估指标。

实验结果

研究问题

• RQ1 选择性掩码是否能减少深度卷积特征的冗余并提升检索准确率？
• RQ2 在所选特征上应用嵌入与聚合，是否能进一步增强判别能力，超越仅使用深度特征的效果？
• RQ3 所提框架在准确率与计算效率方面与最先进方法相比如何？
• RQ4 该框架能否在保持高效与泛化能力的同时，实现与微调网络相当的性能？
• RQ5 局部特征中的突发性在多大程度上会降低检索性能？是否能被有效缓解？

主要发现

• 所提框架在大多数基准测试中实现了最先进mAP性能，在1024维下相比现有方法提升超过2.5%，包括Oxford5k、Oxford105k、Holidays和Paris106k。
• MAX-mask与SUM-mask方案分别将特征数量减少约70%和50%，显著降低计算成本。
• 在512维下，该框架性能与现有最佳方法相当，并在大多数数据集上表现更优。
• 在512-D下，该框架的计算速度优于R-MAC，得益于特征剪枝，线上处理时间更短。
• 即使使用微调VGG网络的特征，该方法仍取得高度竞争力的结果，在大多数基准上超越了先前工作。
• 掩码与嵌入/聚合的结合带来了显著的性能提升，表明即使高度判别性的特征也能从进一步优化中受益。