[论文解读] Multiple Measurements and Joint Dimensionality Reduction for Large Scale Image Search with Short Vectors - Extended Version

Filip Radenović, Hervé Jeǵou+1 more|arXiv (Cornell University)|Apr 13, 2015

Advanced Image and Video Retrieval Techniques参考文献 23被引用 4

一句话总结

本文提出一种方法，通过在多个互补词典上联合降低维度，提升使用128D图像向量的大规模图像检索性能。通过改变描述符提取方式（区域大小、幂律归一化和PCA投影），作者生成了多样化且非冗余的词典。将这些词典连接后联合压缩，显著优于Oxford5k、Oxford105k和Holidays基准上的现有最先进方法。

ABSTRACT

This paper addresses the construction of a short-vector (128D) image representation for large-scale image and particular object retrieval. In particular, the method of joint dimensionality reduction of multiple vocabularies is considered. We study a variety of vocabulary generation techniques: different k-means initializations, different descriptor transformations, different measurement regions for descriptor extraction. Our extensive evaluation shows that different combinations of vocabularies, each partitioning the descriptor space in a different yet complementary manner, results in a significant performance improvement, which exceeds the state-of-the-art.

研究动机与目标

• 通过紧凑的128D图像表征提升大规模图像检索性能。
• 解决基于词袋和VLAD的检索中单一词典和冗余多词典方法的局限性。
• 探索不同描述符变换与测量配置如何生成互补词典以增强联合表征。
• 证明对多个多样化词典进行联合降维可在查询时间无计算开销的前提下，实现更优的检索准确率。
• 通过描述符和词典构建的简单高效修改，在短向量图像检索中超越现有最先进方法。

提出的方法

• 通过改变用于局部描述符提取的测量区域大小，构建多个视觉词典。
• 在k均值聚类前，对局部描述符应用不同的幂律归一化（如SIFT^0.4、SIFT^0.5、SIFT^0.6）。
• 在k均值聚类前，对局部描述符应用不同的线性投影（PCA），以减少冗余并增加多样性。
• 将多个词典的BOW向量连接成每张图像的单一高维向量。
• 对连接后的向量执行联合降维（如PCA），生成128D紧凑描述符。
• 使用L2归一化和标准检索协议（mAP）在多个基准上进行评估。

实验结果

研究问题

• RQ1 改变描述符提取参数（区域大小、归一化和投影）如何影响视觉词典的多样性与互补性？
• RQ2 对多个多样化词典进行联合降维是否能提升检索性能，超越单一词典或多词典简单初始化的方法？
• RQ3 所提方法在标准基准上的短向量图像检索中，相较于最先进方法的性能提升程度如何？
• RQ4 通过不同描述符变换构建的多词典组合是否能减少量化伪影并提升泛化能力？
• RQ5 在不增加查询时间计算成本的前提下，最大化检索准确率的多词典最优配置是什么？

主要发现

• 在Oxford105k上，所提方法达到48.8%的mAP，相较于基线方法mVocab相对提升17.9%，相较于基于VLAD的最先进方法提升10.7%。
• 在Oxford5k上，最佳方法达到48.8%的mAP，相较于基线方法相对提升13.8%，相较于T-embedding最先进方法提升12.7%。
• 在Holidays数据集上，方法达到67.3%的mAP，相较于基线方法相对提升4.3%，相较于T-embedding最先进方法提升9.1%。
• 使用多个测量区域和幂律归一化可增加唯一词典分配的数量，减少冗余并提升覆盖度。
• 即使在使用相同训练数据（Paris6k）进行公平比较时，该方法仍超越最先进方法，证实了所提描述符变化的有效性。
• 所有所提方法，包括5×2k词典和4×(4k+…+128)配置，均在所有数据集上持续优于基线方法和最先进方法。