[论文解读] Unsupervised Semantic Deep Hashing

Sheng Jin|arXiv (Cornell University)|Mar 19, 2018

Advanced Image and Video Retrieval Techniques参考文献 2被引用 3

一句话总结

本文提出无监督语义深度哈希（USDH），一种端到端的无监督深度哈希方法，利用VGG-19特征中的语义信息，在无需标签的情况下学习二进制哈希码。通过强制执行四种损失组件——语义损失、量化损失、信息熵最大化和旋转不变性，USDH在图像检索和细粒度分类任务中均达到最先进性能，相比先前的无监督方法，准确率最高提升10.7%。

ABSTRACT

In recent years, deep hashing methods have been proved to be efficient since it employs convolutional neural network to learn features and hashing codes simultaneously. However, these methods are mostly supervised. In real-world application, it is a time-consuming and overloaded task for annotating a large number of images. In this paper, we propose a novel unsupervised deep hashing method for large-scale image retrieval. Our method, namely unsupervised semantic deep hashing ( extbf{USDH}), uses semantic information preserved in the CNN feature layer to guide the training of network. We enforce four criteria on hashing codes learning based on VGG-19 model: 1) preserving relevant information of feature space in hashing space; 2) minimizing quantization loss between binary-like codes and hashing codes; 3) improving the usage of each bit in hashing codes by using maximum information entropy, and 4) invariant to image rotation. Extensive experiments on CIFAR-10, NUSWIDE have demonstrated that extbf{USDH} outperforms several state-of-the-art unsupervised hashing methods for image retrieval. We also conduct experiments on Oxford 17 datasets for fine-grained classification to verify its efficiency for other computer vision tasks.

研究动机与目标

• 通过开发一种无监督替代方法，解决监督深度哈希中人工标注的高成本问题。
• 在不依赖类别标签的前提下，保留深度特征中的语义相似性。
• 通过强制执行量化损失、信息熵最大化和旋转不变性，提升哈希码质量。
• 证明该方法在图像检索之外的有效性，包括在细粒度分类任务中的表现。

提出的方法

• 利用VGG-19网络的中级特征作为语义描述符，指导哈希码的学习。
• 引入语义损失，促使哈希码保留由特征描述符计算出的相似性关系。
• 应用量化损失，以最小化实值码与其二值近似之间的差异。
• 最大化哈希码中每个比特的信息熵，以确保比特使用的均衡与高效。
• 通过最小化原始图像与旋转后图像的哈希码之间的距离，实现旋转不变性。
• 使用组合了所有四个组件的复合损失函数，端到端训练网络。

实验结果

研究问题

• RQ1 在无监督设置下，能否有效利用深度特征中的语义信息来提升哈希码质量？
• RQ2 强制执行旋转不变性对无监督深度哈希性能有何影响？
• RQ3 与先前的无监督方法相比，结合语义损失、量化损失、熵损失和旋转损失在多大程度上提升了检索准确率？
• RQ4 在无标签条件下学习的无监督哈希码能否在细粒度分类任务中有效应用？

主要发现

• 在CIFAR-10数据集上，USDH使用64位码时达到65.87%的平均平均精度（MAP），比DeepBit高出27.57个百分点。
• 在NUSWIDE数据集上，USDH使用64位码时MAP达到64.07%，显著超过其他无监督基线方法。
• 仅使用语义损失相比DeepBit性能提升7.62%，再加入量化损失后准确率进一步提升4.07%。
• 在牛津-17细粒度花卉分类数据集上，USDH达到81.3%的准确率，比DeepBit高6.2%，比SIFT-Internal高10.7%。
• 该方法对超参数设置具有鲁棒性，语义损失参数ρ在不同取值下，MAP变化小于0.2%。
• USDH保持了快速的推理速度（每样本0.07秒），与DeepBit相当，远快于传统手工设计的描述符。