[论文解读] Seeing the Big Picture: Deep Embedding with Contextual Evidences

Liang Zheng, Shengjin Wang+2 more|arXiv (Cornell University)|Jun 1, 2014

Advanced Image and Video Retrieval Techniques参考文献 8被引用 16

一句话总结

本文提出 Deep Embedding，一种概率框架，通过使用卷积神经网络（CNN）特征整合局部、区域和全局上下文线索，改进了词袋（Bag-of-Words）图像检索。通过将匹配置信度建模为三个层次相似度得分的乘积，显著减少了误报，并在基准数据集上实现了最先进性能，同时仅带来极小的内存和查询时间增加。

ABSTRACT

In the Bag-of-Words (BoW) model based image retrieval task, the precision of visual matching plays a critical role in improving retrieval performance. Conventionally, local cues of a keypoint are employed. However, such strategy does not consider the contextual evidences of a keypoint, a problem which would lead to the prevalence of false matches. To address this problem, this paper defines "true match" as a pair of keypoints which are similar on three levels, i.e., local, regional, and global. Then, a principled probabilistic framework is established, which is capable of implicitly integrating discriminative cues from all these feature levels. Specifically, the Convolutional Neural Network (CNN) is employed to extract features from regional and global patches, leading to the so-called "Deep Embedding" framework. CNN has been shown to produce excellent performance on a dozen computer vision tasks such as image classification and detection, but few works have been done on BoW based image retrieval. In this paper, firstly we show that proper pre-processing techniques are necessary for effective usage of CNN feature. Then, in the attempt to fit it into our model, a novel indexing structure called "Deep Indexing" is introduced, which dramatically reduces memory usage. Extensive experiments on three benchmark datasets demonstrate that, the proposed Deep Embedding method greatly promotes the retrieval accuracy when CNN feature is integrated. We show that our method is efficient in terms of both memory and time cost, and compares favorably with the state-of-the-art methods.

研究动机与目标

• 解决由于忽略局部特征之外的上下文证据而导致的词袋（BoW）图像检索中高误匹配率问题。
• 将多层级上下文线索——局部（SIFT）、区域（图像块上的 CNN）、全局（整幅图像上的 CNN）——整合进一个合理的概率模型中。
• 通过一种称为 Deep Indexing 的新型索引结构，实现 CNN 特征在 BoW 框架中的有效使用。
• 证明 CNN 特征相较于传统颜色直方图，能提供更强、更具区分性的线索，尤其在大视觉变化下表现更优。
• 在大规模场景下实现最先进检索准确率的同时，保持低内存和时间开销。

提出的方法

• 将真实匹配定义为在三个层次上均具有视觉相似性的关键点对：局部（SIFT）、区域（80 个图像块上的 CNN）和全局（整幅图像上的 CNN）。
• 构建一个概率模型，将匹配置信度隐式表述为三个层次相似度得分的乘积，从而实现多层级特征的合理融合。
• 使用预训练的 CNN 提取区域和全局图像块的深度特征，提供高层语义表征。
• 引入 Deep Indexing 结构，以高效存储和检索二值化 CNN 特征，相比基线 BoW 和 Hamming Embedding 方法显著降低内存使用。
• 应用 TF-IDF 加权和倒排文件索引实现实时检索，将 CNN 特征无缝集成到标准 BoW 流程中。
• 采用图融合（Graph Fusion）和查询扩展（Query Expansion）等后处理技术，进一步提升基准数据集上的性能。

实验结果

研究问题

• RQ1 将区域和全局上下文线索与局部特征结合，是否能显著减少基于 BoW 的图像检索中的误匹配？
• RQ2 如何在不带来过度内存或计算成本的前提下，有效且高效地将深度 CNN 特征整合进传统 BoW 检索流程？
• RQ3 所提出的概率融合框架（结合局部、区域和全局相似度）是否在检索准确率上优于现有方法？
• RQ4 在处理大视觉变化时，基于 CNN 的上下文特征相较于传统基于颜色的上下文线索有何影响？
• RQ5 Deep Embedding 框架是否能在保持最先进性能的同时，维持高效率（内存和查询时间）？

主要发现

• 所提出的 Deep Embedding 方法在 Holidays 数据集上达到 88.1% 的 mAP，在 Oxford5k 上达到 82.0%，且无需后处理，优于 BoW 基线和先前最先进方法。
• 经后处理（图融合与查询扩展）后，该方法在 Ukbench 上取得 3.87 的 N-S 分数，在 Holidays 上达到 87.3% 的 mAP，展现出与最先进方法相当的竞争力。
• 该方法仅比 128 位 Hamming Embedding 增加 2.26 GB 内存使用，同时通过多层级上下文过滤显著降低误匹配率。
• 在 Holidays+1M 数据集上，查询时间仅为 2.32 秒/查询，仅略高于 Hamming Embedding（2.70 秒），表明尽管增加了汉明距离计算，仍保持了高效率。
• Holidays 数据集上的可视化结果表明，即使局部 SIFT 特征模糊不清，Deep Embedding 仍能检索到语义相关的图像，这得益于 CNN 特征保留的语义线索。
• 大量消融实验表明，基于 CNN 的区域和全局特征在捕捉上下文证据方面，优于颜色直方图，尤其在大外观变化下表现更优。