[论文解读] What Is the Best Practice for CNNs Applied to Visual Instance Retrieval?

Jiedong Hao, Jing Dong+2 more|arXiv (Cornell University)|Nov 5, 2016

Advanced Image and Video Retrieval Techniques参考文献 29被引用 9

一句话总结

本文提出了一种基于多尺度CNN的新型视觉实例检索特征表示方法，通过简单求和与L2归一化结合多个网络层（conv5_4和fc6-conv）的特征，随后进行PCA和白化处理。该方法在四个基准数据集上实现了最先进性能，在Oxford105k和UKB数据集上相比之前方法最高实现了10.3%的相对提升，尤其在紧凑且无监督的设置下表现优异。

ABSTRACT

Previous work has shown that feature maps of deep convolutional neural networks (CNNs) can be interpreted as feature representation of a particular image region. Features aggregated from these feature maps have been exploited for image retrieval tasks and achieved state-of-the-art performances in recent years. The key to the success of such methods is the feature representation. However, the different factors that impact the effectiveness of features are still not explored thoroughly. There are much less discussion about the best combination of them. The main contribution of our paper is the thorough evaluations of the various factors that affect the discriminative ability of the features extracted from CNNs. Based on the evaluation results, we also identify the best choices for different factors and propose a new multi-scale image feature representation method to encode the image effectively. Finally, we show that the proposed method generalises well and outperforms the state-of-the-art methods on four typical datasets used for visual instance retrieval.

研究动机与目标

• 识别在低数据环境下视觉实例检索中CNN各因素的最佳组合。
• 评估层选择、特征聚合、多尺度表示、归一化以及降维对检索性能的影响。
• 开发一种紧凑、高效且可泛化的特征表示方法，无需后处理或微调即可取得良好效果。
• 为在无监督实例检索中部署现成CNN模型提供清晰、基于实证的建议。

提出的方法

• 使用预训练CNN的conv5_4和fc6-conv层的特征图作为局部描述子。
• 通过在每个尺度上应用最大池化和L2归一化，构建4尺度的多尺度表示，然后对各尺度的特征进行求和。
• 在对多尺度特征求和后进行L2归一化，再应用PCA和白化进行降维和去相关处理。
• 通过加权平均融合conv5_4和fc6-conv特征的相似性得分，采用多层集成策略。
• 从外部数据集（如用Paris6k训练Oxford5k）学习PCA和白化矩阵，以确保泛化性和紧凑性。
• 单层表示使用512维特征，多层集成使用1024维特征，无需复杂后处理（如查询扩展或几何重排序）。

实验结果

研究问题

• RQ1 哪个CNN层（如conv5_4或fc6-conv）能为实例级检索提供最具判别性的特征？
• RQ2 如何最优地组合来自特征图不同层级的多尺度特征以提升检索准确率？
• RQ3 在无监督的CNN检索中，空间金字塔池化与简单特征求和哪种方法性能更优？
• RQ4 对CNN特征应用归一化、PCA和白化后，对最终检索性能有何影响？
• RQ5 在不进行微调的情况下，简单多层特征集成是否能优于单层表示？

主要发现

• 所提出的多尺度特征表示通过各尺度简单求和，优于空间金字塔池化和加权融合，在Oxford5k（完整和裁剪）上分别达到82.0%和83.3%的mAP。
• 通过多层集成策略融合conv5_4和fc6-conv层特征，在Oxford5k（完整和裁剪）上分别取得75.6%和73.7%的mAP，相比之前SOTA有10.3%的相对提升。
• 在Paris6k数据集上，mAP分别达到85.7%和85.9%，在两种设置下均超过此前最佳结果3%以上。
• 在UKB数据集上，mAP达到69.2%，相比之前SOTA有4.4%的相对提升，展现出强大的泛化能力。
• PCA和白化显著提升了性能，且当PCA矩阵从不同数据集学习时方法依然有效，表明其具备鲁棒性和可迁移性。