[论文解读] Supervised Learning of Semantics-Preserving Hashing via Deep Neural Networks for Large-Scale Image Search

Huei‐Fang Yang, Kevin Lin+1 more|arXiv (Cornell University)|Jul 1, 2015

Advanced Image and Video Retrieval Techniques参考文献 60被引用 28

一句话总结

本文提出了一种监督语义保持深度哈希方法（SSDH），一种深度学习方法，通过联合优化语义相似性和分类准确率，同时学习图像表征、二进制哈希码和分类。SSDH 在单一模型中统一了检索与分类任务，在大规模图像搜索基准测试中实现了最先进性能，包括一个包含超过一百万张图像的数据集。

ABSTRACT

This paper presents a supervised deep hashing approach that constructs binary hash codes from labeled data for large-scale image search. We assume that semantic labels are governed by a set of latent attributes in which each attribute can be on or off, and classification relies on these attributes. Based on this assumption, our approach, dubbed supervised semantics-preserving deep hashing (SSDH), constructs hash functions as a latent layer in a deep network in which binary codes are learned by the optimization of an objective function defined over classification error and other desirable properties of hash codes. With this design, SSDH has a nice property that classification and retrieval are unified in a single learning model, and the learned binary codes not only preserve the semantic similarity between images but also are efficient for image search. Moreover, SSDH performs joint learning of image representations, hash codes, and classification in a pointwised manner and thus is naturally scalable to large-scale datasets. SSDH is simple and can be easily realized by a slight modification of an existing deep architecture for classification; yet it is effective and outperforms other unsupervised and supervised hashing approaches on several benchmarks and one large dataset comprising more than 1 million images.

研究动机与目标

• 通过学习保持语义相似性的紧凑二进制哈希码，解决可扩展且准确的大规模图像搜索挑战。
• 将图像分类与检索统一到单一深度学习框架中，同时提升语义保真度与搜索效率。
• 实现端到端的哈希函数学习，使哈希函数与深度特征表征和分类损失联合优化。
• 开发一种实现简单、可扩展至大规模数据集，并在多个基准上均表现有效的算法。

提出的方法

• SSDH 将哈希码学习表述为深度神经网络中的潜在层，通过结合分类误差与理想的哈希码特性的联合目标函数来优化二进制码。
• 该方法假设语义标签由一组二值潜在属性决定，使模型能够学习保持语义的哈希码。
• 通过端到端反向传播进行图像特征、哈希码和分类的联合点对点优化。
• 目标函数旨在最小化分类误差，同时在学习到的二进制码中促进语义相似性保持。
• SSDH 作为对标准分类深度学习架构的微小修改实现，易于集成与扩展。
• 该方法利用标注数据的监督信号，指导语义表征与紧凑二进制码的学习。

实验结果

研究问题

• RQ1 深度神经网络能否在一个统一框架中联合学习语义表征、二进制哈希码和分类？
• RQ2 监督哈希方法在实现高效大规模检索的同时，能在多大程度上保持图像之间的语义相似性？
• RQ3 表征、哈希码与分类的联合学习相较于解耦或无监督方法，其性能提升程度如何？
• RQ4 所提出的方法能否在包含超过一百万张图像的数据集上实现有效扩展，同时保持高检索准确率？

主要发现

• SSDH 在多个大规模图像搜索基准数据集上实现了最先进性能。
• 该方法在检索准确率和语义保持方面均优于监督与无监督哈希基线方法。
• SSDH 展现出强大的可扩展性，能有效处理超过一百万张图像的数据集。
• 与分别优化策略相比，表征、哈希码与分类的联合学习显著提升了语义相似性保持能力。
• 尽管结构简单且网络架构改动极少，SSDH 相较于现有方法仍显著提升了检索性能。