[论文解读] One Loss for Quantization: Deep Hashing with Discrete Wasserstein Distributional Matching

Khoa D. Doan, Peng Yang+1 more|arXiv (Cornell University)|May 31, 2022

Advanced Image and Video Retrieval Techniques被引用 5

一句话总结

本文提出了一种用于深度监督图像哈希的单损失量化方法，通过使用一种新颖且高效的切片Wasserstein距离变体——HSWD，最小化学习到的连续哈希码与均匀离散分布之间的分布距离。该方法同时改善了代码平衡性并降低了量化误差，相较于现有的多损失方法，在多个数据集和模型上实现了更优的检索性能，且计算开销更低。

ABSTRACT

Image hashing is a principled approximate nearest neighbor approach to find similar items to a query in a large collection of images. Hashing aims to learn a binary-output function that maps an image to a binary vector. For optimal retrieval performance, producing balanced hash codes with low-quantization error to bridge the gap between the learning stage's continuous relaxation and the inference stage's discrete quantization is important. However, in the existing deep supervised hashing methods, coding balance and low-quantization error are difficult to achieve and involve several losses. We argue that this is because the existing quantization approaches in these methods are heuristically constructed and not effective to achieve these objectives. This paper considers an alternative approach to learning the quantization constraints. The task of learning balanced codes with low quantization error is re-formulated as matching the learned distribution of the continuous codes to a pre-defined discrete, uniform distribution. This is equivalent to minimizing the distance between two distributions. We then propose a computationally efficient distributional distance by leveraging the discrete property of the hash functions. This distributional distance is a valid distance and enjoys lower time and sample complexities. The proposed single-loss quantization objective can be integrated into any existing supervised hashing method to improve code balance and quantization error. Experiments confirm that the proposed approach substantially improves the performance of several representative hashing~methods.

研究动机与目标

• 解决在深度监督哈希中同时实现低量化误差与均衡代码分布的挑战，这对实现高性能检索至关重要。
• 克服现有多损失量化方法存在的启发式设计、计算成本高以及需要大量超参数调优的局限性。
• 将量化目标重新表述为最小化连续哈希码输出分布与预定义的二进制码均匀离散分布之间的分布距离，从而实现关键性能指标的统一优化。
• 设计一种计算高效的分布距离度量——HSWD，利用哈希函数的离散特性，降低样本复杂度和时间复杂度。
• 证明所提出方法可无缝集成到现有深度哈希框架中，无需架构修改即可提升性能。

提出的方法

• 将量化目标表述为最小化哈希函数连续输出分布与预定义的二进制码均匀离散分布之间的分布距离。
• 采用切片Wasserstein距离（SWD）作为基础分布距离度量，因其样本复杂度低且易于估计。
• 提出一种新颖变体——HSWD（基于哈希的切片Wasserstein距离），利用哈希码的离散结构以减少所需随机投影的数量。
• HSWD仅使用与哈希码长度相等的投影数量，消除了冗余投影至无信息方向的情况，避免了昂贵的矩阵乘法运算。
• 将HSWD作为单一可微损失项集成到任意现有监督哈希框架中，替代多个启发式量化损失。
• 该方法支持端到端训练，使模型能够学习生成既平衡又接近离散二进制码的连续码，从而最小化量化误差。

Figure 1 : A visual illustration of the optimal function (Figure (b)) and learned hash function with poor the code balance (Figure (c)) and quantization constraint (Figure (d)). Figure (a) shows the original data clusters from four classes.

实验结果

研究问题

• RQ1 统一的单损失目标能否有效优化深度监督图像哈希中的量化误差与编码平衡性？
• RQ2 将学习到的连续哈希分布与均匀离散分布匹配，是否能相比传统多损失量化方案带来更好的检索性能？
• RQ3 能否设计一种在理论上有效且计算高效的分布距离度量，用于离散哈希码的优化？
• RQ4 在训练时间与检索准确率方面，所提出的HSWD方法相较于标准SWD和现有量化损失在效率与性能上表现如何？
• RQ5 该方法在多样化深度哈希模型与基准数据集上，性能提升的幅度有多大？

主要发现

• 在CIFAR-10、NUS-WIDE和COCO数据集上，所提出的HSWD方法相比原始方法将每轮训练时间减少高达40%，相比SWD-based量化方法减少20–30%。
• 在所有评估的数据集中，该方法在量化误差方面显著降低，量化误差通过连续码与其对应离散码之间的夹角衡量，t-SNE可视化结果也证实了这一点。
• 比特熵分析表明，HSWD始终产生比基线方法更均衡的哈希码（熵更高），表明其分布均匀性更优。
• 当将HSWD用作量化损失时，多个最先进哈希模型（CSQ和DCH）的检索性能得到提升，mAP和召回率指标均实现一致增益。
• 16位哈希码的定性t-SNE可视化显示，HSWD相比标准量化方法和SWD能实现更好的类间分离性与类内紧凑性。
• 该方法通过用单一、合理的分布距离目标替代多个启发式损失项，显著减少了对超参数调优的需求。

((a)) HashNet (mAP: 0.7208)