[论文解读] Simultaneous Feature Aggregating and Hashing for Large-scale Image Search

Thanh-Toan Do, Dang-Khoa Le Tan+2 more|arXiv (Cornell University)|Apr 4, 2017

Advanced Image and Video Retrieval Techniques参考文献 43被引用 9

一句话总结

本文提出了一种联合优化框架——联合特征聚合与哈希（Simultaneous Feature Aggregating and Hashing, SAH），将特征聚合与二值哈希统一于大规模图像搜索任务中。通过联合训练聚合函数与哈希函数，以提升二值码对聚合特征的可重构性，SAH 在使用 SIFT、卷积神经网络及全连接特征的多个基准测试中均实现了最先进水平的检索准确率。

ABSTRACT

In most state-of-the-art hashing-based visual search systems, local image descriptors of an image are first aggregated as a single feature vector. This feature vector is then subjected to a hashing function that produces a binary hash code. In previous work, the aggregating and the hashing processes are designed independently. In this paper, we propose a novel framework where feature aggregating and hashing are designed simultaneously and optimized jointly. Specifically, our joint optimization produces aggregated representations that can be better reconstructed by some binary codes. This leads to more discriminative binary hash codes and improved retrieval accuracy. In addition, we also propose a fast version of the recently-proposed Binary Autoencoder to be used in our proposed framework. We perform extensive retrieval experiments on several benchmark datasets with both SIFT and convolutional features. Our results suggest that the proposed framework achieves significant improvements over the state of the art.

研究动机与目标

• 为解决传统哈希系统将特征聚合与哈希视为独立、分离过程的局限性。
• 通过联合优化特征聚合与二值哈希，提升无监督大规模图像搜索的检索准确率。
• 设计一种更快的、松弛化的二值自编码器（RBA），其最小化二值量化损失而非强制执行硬性二值约束。
• 证明通过联合学习获得的聚合表征可被二值码更有效地重构，从而提升判别能力。

提出的方法

• 提出一种松弛化二值自编码器（RBA），通过最小化二值量化损失而非强制执行硬性二值约束，实现更快的训练速度，采用交替优化策略。
• 引入一种联合优化框架，使特征聚合与哈希同时训练，共享聚合表征与哈希函数的优化过程。
• 采用交替优化策略，在统一的学习过程中更新聚合特征与哈希函数。
• 在 SAH 框架中应用 RBA 作为哈希组件，实现紧凑二值码的高效且有效的学习。
• 采用重构损失，促使二值码准确表示聚合特征，从而增强判别能力。
• 使用 SIFT 和深度卷积特征（例如来自预训练 VGG 的特征）作为输入，对联合框架进行端到端训练。

实验结果

研究问题

• RQ1 联合优化特征聚合与哈希是否能优于顺序处理方式，带来更优的检索性能？
• RQ2 在松弛化自编码器设置下，最小化二值量化损失是否能相比硬性二值约束，实现更快的训练速度与更高的检索准确率？
• RQ3 聚合与哈希的联合学习如何影响二值码对聚合特征的可重构性？
• RQ4 所提出的 SAH 框架是否能在使用多种特征类型的标准化基准上，超越当前最先进水平的无监督哈希方法？

主要发现

• 所提出的松弛化二值自编码器（RBA）在保持竞争性检索准确率的同时，训练速度优于原始二值自编码器。
• 在 Holidays 与 Holidays+Flickr100k 数据集上，与二值自编码器相比，SAH 在 L=32 时分别将 mAP 提升了 8% 和 11.4%。
• 在使用全连接特征时，SAH 在 CIFAR10 数据集上于 L=32 时达到 45.56% 的 mAP，相比 DeepBit [29] 提升了 20.7% 的 mAP。
• 在所有码长（16、32、64 位）下，SAH 显著优于 ITQ-CNN、KMH-CNN 与 SPH-CNN，于 L=32 时 mAP 提升达 2.7–3.5%。
• 当使用 SIFT 特征时，联合学习框架相比基线方法将检索准确率最高提升 14%，尤其在较高码长下表现更优。
• 该框架在多个数据集（Oxford5k、Holidays、Flickr100k）与多种特征类型上均表现出一致的性能提升，证实了其泛化能力与鲁棒性。