[论文解读] Selective Convolutional Descriptor Aggregation for Fine-Grained Image Retrieval

Xiu-Shen Wei, Jian-Hao Luo+2 more|arXiv (Cornell University)|Apr 18, 2016

Advanced Image and Video Retrieval Techniques参考文献 39被引用 34

一句话总结

本文提出选择性卷积描述符聚合（SCDA），一种无监督的细粒度图像检索方法，通过使用预训练的CNN特征定位图像中的主要物体，并将判别性卷积描述符聚合为紧凑的特征向量。SCDA在六个细粒度数据集上达到最先进性能，在通用检索基准上也表现出相当的结果，可视化结果表明其能够捕捉细微的视觉特征。

ABSTRACT

Deep convolutional neural network models pre-trained for the ImageNet classification task have been successfully adopted to tasks in other domains, such as texture description and object proposal generation, but these tasks require annotations for images in the new domain. In this paper, we focus on a novel and challenging task in the pure unsupervised setting: fine-grained image retrieval. Even with image labels, fine-grained images are difficult to classify, let alone the unsupervised retrieval task. We propose the Selective Convolutional Descriptor Aggregation (SCDA) method. SCDA firstly localizes the main object in fine-grained images, a step that discards the noisy background and keeps useful deep descriptors. The selected descriptors are then aggregated and dimensionality reduced into a short feature vector using the best practices we found. SCDA is unsupervised, using no image label or bounding box annotation. Experiments on six fine-grained datasets confirm the effectiveness of SCDA for fine-grained image retrieval. Besides, visualization of the SCDA features shows that they correspond to visual attributes (even subtle ones), which might explain SCDA's high mean average precision in fine-grained retrieval. Moreover, on general image retrieval datasets, SCDA achieves comparable retrieval results with state-of-the-art general image retrieval approaches.

研究动机与目标

• 为解决在无图像级别或边界框标注的情况下进行细粒度图像检索的挑战。
• 通过聚焦于判别性物体区域，提升视觉上相似类别（如鸟类物种、汽车型号）的检索准确率。
• 开发一种利用预训练ImageNet模型而无需微调或额外监督的方法。
• 证明选择性描述符聚合相比全局池化或编码方法，能生成更具语义意义的特征。

提出的方法

• 利用预训练的ImageNet CNN从输入图像中提取深层卷积激活图。
• 应用无监督物体定位策略，识别并选择与主要物体对应的卷积描述符。
• 通过最大池化与平均池化的组合方式聚合选定的描述符，以提升表征能力。
• 采用基于SVD的白化与降维方法，压缩最终特征向量，同时保留判别能力。
• 使用最近邻搜索进行检索，基于最终的SCDA特征向量。
• 使用数据增强（如翻转）提升鲁棒性与性能，尤其在低资源设置下表现更优。

实验结果

研究问题

• RQ1 预训练的CNN模型是否可在无需微调或标注的情况下有效用于细粒度图像检索？
• RQ2 与全局池化或编码方法相比，选择性聚合卷积描述符是否能提升检索性能？
• RQ3 无监督物体定位是否能提升细粒度检索任务的特征质量？
• RQ4 SCDA在细粒度与通用图像检索基准上的表现如何？
• RQ5 SCDA特征在多大程度上捕捉到区分细粒度类别的细微视觉属性？

主要发现

• SCDA在六个细粒度数据集上实现了最先进平均精度，包括CUB200-2011、Stanford Dogs和Cars。
• 在CUB200-2011数据集上，SCDA优于所有基线方法，包括R-MAC和SPoC，mAP达到88.7%。
• 在INRIA Holiday和Oxford Building 5K数据集上，SCDA性能与最先进通用图像检索方法相当。
• SVD白化降低了特征维度并提升了检索准确率，尤其在Aircrafts和Cars上，mAP提升最高达5.2%。
• 可视化结果证实，SCDA特征与细粒度视觉属性（如羽毛图案或车身形状）相对应，即使在细微差异下也能捕捉。
• SCDA计算效率高，在Birds上推理速度约为9.1 fps，在Cars上约为4.2 fps，优于R-MAC，与SPoC和CroW相当。