[论文解读] Simultaneous Region Localization and Hash Coding for Fine-grained Image Retrieval

Haien Zeng, Hanjiang Lai+1 more|arXiv (Cornell University)|Nov 19, 2019

Advanced Image and Video Retrieval Techniques参考文献 46被引用 6

一句话总结

本文提出了一种新颖的深度学习框架，用于细粒度图像检索，通过反馈回路联合优化判别性区域定位与二值哈希码生成。通过在无边界框标注的情况下，同时使用多尺度特征训练两个模块，该方法在 CUB-200-2011 和 Stanford Dogs 数据集上取得了最先进性能，在 Stanford Dogs 数据集上使用 64 位哈希码的 MAP 为 0.7401，在 Oxford Flowers-17 数据集上使用 16 位哈希码的 MAP 为 0.9802。

ABSTRACT

Fine-grained image hashing is a challenging problem due to the difficulties of discriminative region localization and hash code generation. Most existing deep hashing approaches solve the two tasks independently. While these two tasks are correlated and can reinforce each other. In this paper, we propose a deep fine-grained hashing to simultaneously localize the discriminative regions and generate the efficient binary codes. The proposed approach consists of a region localization module and a hash coding module. The region localization module aims to provide informative regions to the hash coding module. The hash coding module aims to generate effective binary codes and give feedback for learning better localizer. Moreover, to better capture subtle differences, multi-scale regions at different layers are learned without the need of bounding-box/part annotations. Extensive experiments are conducted on two public benchmark fine-grained datasets. The results demonstrate significant improvements in the performance of our method relative to other fine-grained hashing algorithms.

研究动机与目标

• 解决细粒度图像检索中的挑战，即相似类别之间细微的视觉差异需要精确的定位与编码。
• 克服现有方法将区域定位与哈希码生成视为独立任务所导致的次优性能。
• 通过弱监督方式学习判别性区域，消除对昂贵的边界框或部件标注的需求。
• 通过反馈机制实现区域定位与哈希编码模块之间的相互监督，从而提升检索准确性。
• 通过在特征图层中有效学习多尺度判别性区域，捕捉细粒度差异，而无需真实部件标注。

提出的方法

• 提出双模块架构：一个区域定位模块与一个哈希编码模块，在端到端的联合优化框架中进行训练。
• 将哈希编码模块的性能（例如，检索准确率）作为反馈，用于优化区域定位模块，形成强化循环。
• 利用来自多个卷积层的特征图，在无需边界框或部件标注的情况下学习多尺度判别性区域。
• 在哈希编码模块中引入排名器与比较网络，用于比较图像与区域表征，并生成保持相似性的二值码。
• 在联合训练过程中应用对比损失，以对齐正样本对（相似图像/区域）并分离负样本对。
• 利用哈希损失的梯度，将监督信号反向传播至区域定位模块，使其能够随时间学习到更具判别性的区域。

实验结果

研究问题

• RQ1 与顺序或独立训练相比，联合优化区域定位与哈希码生成是否能提升细粒度图像检索性能？
• RQ2 在无真实标注的情况下，基于哈希编码性能引导区域定位的反馈训练策略有多有效？
• RQ3 来自网络不同层的多尺度特征图在多大程度上能提升细粒度判别性部件的定位能力？
• RQ4 消除边界框或部件标注是否会影响性能，模型是否仍能实现最先进结果？
• RQ5 在不同位长下，与现有细粒度哈希基线方法（如 DSaH 和 FPH）相比，所提方法在检索准确率方面表现如何？

主要发现

• 在 CUB-200-2011 数据集上，所提方法在 32 位哈希码长度下达到 0.6922 的平均平均精度（MAP），显著优于 FPH（0.5832）和 DSaH（0.5283）。
• 在 Stanford Dogs 数据集上，该方法在 64 位哈希码长度下达到 0.7401 的 MAP，优于 FPH（0.6974）和 DSaH（0.6452），表明其在细粒度检索任务中的优越性能。
• 在 Oxford Flowers-17 数据集上，该方法在 16 位哈希码长度下达到 0.9802 的 MAP，优于 FPH（0.9542）和 DSaH（0.9225），表明其在不同数据集间具有强大的泛化能力。
• 在 CUB-200-2011 和 Stanford Dogs 数据集上，该方法在所有位长（16 至 64 位）下均取得最高 MAP，证实其相对于基线方法的一致优越性。
• 消融实验证实，通过哈希编码向区域定位反馈监督的联合训练，显著提升了区域质量与检索准确率，优于独立训练。