[论文解读] Unsupervised Hashing with Contrastive Information Bottleneck

Zexuan Qiu, Qinliang Su+3 more|arXiv (Cornell University)|May 13, 2021

Advanced Image and Video Retrieval Techniques参考文献 31被引用 7

一句话总结

该论文提出CIBHash，一种新颖的无监督哈希方法，通过引入可微的伯努利概率表示层，将对比学习适配于二值码学习，实现端到端训练。通过在信息瓶颈原理的框架下构建该方法，其提升了语义表示学习能力，在三个基准数据集上均达到最先进性能，相比先前方法性能提升最高达7.8%。

ABSTRACT

Many unsupervised hashing methods are implicitly established on the idea of reconstructing the input data, which basically encourages the hashing codes to retain as much information of original data as possible. However, this requirement may force the models spending lots of their effort on reconstructing the unuseful background information, while ignoring to preserve the discriminative semantic information that is more important for the hashing task. To tackle this problem, inspired by the recent success of contrastive learning in learning continuous representations, we propose to adapt this framework to learn binary hashing codes. Specifically, we first propose to modify the objective function to meet the specific requirement of hashing and then introduce a probabilistic binary representation layer into the model to facilitate end-to-end training of the entire model. We further prove the strong connection between the proposed contrastive-learning-based hashing method and the mutual information, and show that the proposed model can be considered under the broader framework of the information bottleneck (IB). Under this perspective, a more general hashing model is naturally obtained. Extensive experimental results on three benchmark image datasets demonstrate that the proposed hashing method significantly outperforms existing baselines.

研究动机与目标

• 为解决基于重建的无监督哈希方法过度拟合于非判别性背景特征的局限性。
• 将已在连续表示学习中取得成功的对比学习方法，适配于离散二值哈希任务。
• 通过引入可微的概率二值表示层，实现二值哈希模型的端到端训练。
• 在哈希背景下，建立对比学习与信息瓶颈原理之间的理论联系。
• 通过聚焦于保留判别性语义信息而非重建输入数据，提升检索性能。

提出的方法

• 修改对比学习目标以适配哈希码的离散特性，移除投影头以减少目标不匹配。
• 引入概率伯努利层，将二值码建模为随机变量，通过梯度估计器实现对离散输出的反向传播。
• 在信息瓶颈框架下重构对比学习目标，联合最小化对比损失与码和输入数据之间的互信息。
• 使用拉格朗日松弛方法平衡表示质量与压缩之间的权衡，超参数β控制该权衡。
• 采用数据增强生成对比学习的正样本对，确保模型学习到不变的语义特征。
• 使用随机优化方法端到端训练整个模型，利用离散潜在变量梯度估计的最新进展。

实验结果

研究问题

• RQ1 对比学习能否在不依赖重建的情况下，有效学习高质量的二值哈希码？
• RQ2 在对比学习框架下，如何实现对离散二值码的端到端训练？
• RQ3 在哈希背景下，对比学习与信息瓶颈原理之间存在何种理论关系？
• RQ4 用对比目标替代基于重建的目标，是否能提升无监督哈希中的语义表示学习？
• RQ5 关键超参数如β和批量大小如何影响所提方法的性能？

主要发现

• 在CIFAR-10数据集上，CIBHash在16至64位码长范围内，相比最佳基线方法TBH平均提升5.7%。
• 在NUS-WIDE数据集上，CIBHash相比SOTA方法平均提升7.8%，且在较短码长下提升更大。
• 在MSCOCO数据集上，CIBHash相比当前SOTA方法平均提升3.6%。
• 变体CLHash（采用概率二值层的端到端训练）相比对比特征的简单二值化方法，在CIFAR-10上性能提升5.2%。
• CIBHash在CIFAR-10上相比CLHash进一步提升0.8%，在MSCOCO上提升1.0%，证实了集成IB框架的优势。
• 当β值适中时模型性能最佳；β过小或过大均导致性能下降，表明表示质量与压缩之间存在关键权衡。