[论文解读] Query-adaptive Image Retrieval by Deep Weighted Hashing

Jian Zhang, Yuxin Peng|arXiv (Cornell University)|Dec 8, 2016

Advanced Image and Video Retrieval Techniques参考文献 41被引用 4

一句话总结

本文提出了一种新型深度哈希方法——查询自适应深度加权哈希（QaDWH），通过学习类别相关的哈希位权重并动态生成查询自适应权重，实现基于加权汉明距离的细粒度图像检索。该方法在四个基准数据集上优于八种最先进方法，仅带来轻微的推理时间增加，显著提升了检索准确率。

ABSTRACT

Hashing methods have attracted much attention for large scale image retrieval. Some deep hashing methods have achieved promising results by taking advantage of the strong representation power of deep networks recently. However, existing deep hashing methods treat all hash bits equally. On one hand, a large number of images share the same distance to a query image due to the discrete Hamming distance, which raises a critical issue of image retrieval where fine-grained rankings are very important. On the other hand, different hash bits actually contribute to the image retrieval differently, and treating them equally greatly affects the retrieval accuracy of image. To address the above two problems, we propose the query-adaptive deep weighted hashing (QaDWH) approach, which can perform fine-grained ranking for different queries by weighted Hamming distance. First, a novel deep hashing network is proposed to learn the hash codes and corresponding class-wise weights jointly, so that the learned weights can reflect the importance of different hash bits for different image classes. Second, a query-adaptive image retrieval method is proposed, which rapidly generates hash bit weights for different query images by fusing its semantic probability and the learned class-wise weights. Fine-grained image retrieval is then performed by the weighted Hamming distance, which can provide more accurate ranking than the traditional Hamming distance. Experiments on four widely used datasets show that the proposed approach outperforms eight state-of-the-art hashing methods.

研究动机与目标

• 为解决传统哈希方法将所有哈希位同等对待的局限性，该局限性导致因离散汉明距离而排名精度较差。
• 通过学习反映不同图像类别中不同位语义重要性的类别相关哈希位权重，提升图像检索准确率。
• 通过基于查询语义和学习到的类别相关权重动态生成查询自适应权重，实现细粒度排序。
• 在可接受的计算开销下实现高检索准确率，保持大规模应用中的效率。

提出的方法

• 设计了一个双流深度神经网络：一个分支学习紧凑的哈希码及其对应的类别相关位权重，另一个分支保留语义信息以指导学习。
• 在训练过程中学习类别相关权重，以反映不同哈希位在不同图像类别中的重要性差异。
• 在推理阶段通过矩阵乘法融合查询的预测语义概率分布与学习到的类别相关权重，动态生成查询自适应权重。
• 使用加权汉明距离执行图像检索，相比标准汉明距离可提供更细粒度的排序。
• 该框架可端到端训练，并联合优化哈希码质量、语义保留性和位权重相关性。
• 使用标准指标（包括平均平均精度（mAP））在四个大规模数据集上评估该方法。

实验结果

研究问题

• RQ1 与将所有位同等对待相比，学习类别相关的哈希位权重是否能提升检索准确率？
• RQ2 基于查询语义和类别相关权重生成的查询自适应权重是否能进一步提升排序精度？
• RQ3 所提出的QaDWH方法在准确率和效率方面与最先进深度哈希和传统哈希方法相比如何？
• RQ4 语义概率与学习到的权重的结合是否能带来更有效的加权汉明距离计算？

主要发现

• QaDWH在四个广泛使用的数据集（CIFAR10、NUS-WIDE、MIRFLICKR和ImageNet）上达到最先进性能。
• 在平均平均精度（mAP）方面，该方法优于八种最先进哈希方法，证明了其卓越的检索准确率。
• 基线方法DWH（使用固定类别相关权重）显著优于NINH*（无权重），证明了学习到的位权重的价值。
• QaDWH在所有数据集上均进一步优于DWH，证实了查询自适应权重生成的有效性。
• QaDWH的测试时间与其他深度哈希方法相当（在ImageNet上低于10ms），且远快于QRank，这是由于权重生成采用了高效的矩阵乘法。
• 结果表明，加权汉明距离可实现细粒度排序，解决了多个图像与查询具有相同汉明距离的问题。