[论文解读] Supervised Deep Hashing for Hierarchical Labeled Data

Dan Wang, Heyan Huang+5 more|arXiv (Cornell University)|Apr 7, 2017

Advanced Image and Video Retrieval Techniques被引用 14

一句话总结

本文提出了一种新型深度学习方法——监督分层深度哈希（SHDH），通过利用分层标签结构来提升图像检索性能。通过设计一种分层加权相似度度量方法，并训练深度卷积神经网络生成具有区分性的哈希码，SHDH在CIFAR-100和IAPRTC-12数据集上均优于当前最先进基线方法，使用64位哈希码时，平均精度最高提升18.4%，NDCG最高提升11.4%。

ABSTRACT

Recently, hashing methods have been widely used in large-scale image retrieval. However, most existing hashing methods did not consider the hierarchical relation of labels, which means that they ignored the rich information stored in the hierarchy. Moreover, most of previous works treat each bit in a hash code equally, which does not meet the scenario of hierarchical labeled data. In this paper, we propose a novel deep hashing method, called supervised hierarchical deep hashing (SHDH), to perform hash code learning for hierarchical labeled data. Specifically, we define a novel similarity formula for hierarchical labeled data by weighting each layer, and design a deep convolutional neural network to obtain a hash code for each data point. Extensive experiments on several real-world public datasets show that the proposed method outperforms the state-of-the-art baselines in the image retrieval task.

研究动机与目标

• 解决现有哈希方法在图像数据集中忽略分层标签结构的局限性。
• 通过将分层语义关系融入二进制哈希码的学习过程，提升检索性能。
• 设计一种深度神经网络，学习具有区分性的哈希码，同时尊重分层标签的层级相似性。
• 证明与非分层基线相比，分层监督能显著提升哈希性能。

提出的方法

• 提出一种新颖的分层相似度度量方法，对标签层次的每一层进行加权，赋予更深层更高的重要性。
• 定义分层相似度函数，若两幅图像在第k层拥有共同的祖先，则认为它们在该层相似。
• 将分层相似度整合进一种类似Siamese的深度卷积神经网络中，联合学习特征与哈希码。
• 使用对比损失函数优化网络，促使相似图像在汉明空间中具有更接近的哈希码。
• 引入可学习的分层权重（α），在训练过程中动态调整每一层的贡献度。
• 使用反向传播端到端训练，联合优化特征提取与哈希码生成。

实验结果

研究问题

• RQ1 在监督哈希中建模分层标签结构是否能相比非分层方法提升检索准确性？
• RQ2 分层相似度度量如何影响所学习哈希码的区分能力？
• RQ3 端到端深度学习结合分层监督在真实世界数据集上与传统哈希方法相比，其性能优势有多大？
• RQ4 所提出方法对超参数设置（特别是分层权重因子α）的敏感性如何？
• RQ5 包含分层结构是否能提升图像检索任务中的泛化能力与鲁棒性？

主要发现

• 在CIFAR-100上，SHDH在所有码长下相比最佳基线方法（DPSH）实现了12.5%至18.4%的平均精度（ACG）相对提升。
• 使用64位码时，SHDH相比DPSH在DCG上提升10.7%至16.7%，在NDCG上提升8.7%至11.4%。
• 在IAPRTC-12上，SHDH在所有码长下均持续优于所有基线方法，展现出对数据集差异的强鲁棒性。
• 该方法在加权召回率@n上表现优异，尤其在较高top-n检索排名时，表明其具有更优的排序质量。
• SHDH对超参数α不敏感，在宽范围（0.5 ≤ α ≤ 2）内均保持高性能，表明其具有良好的稳定性。
• 使用64位码时，SHDH仅返回2,065个结果的加权汉明距离为零，而DPSH为4,483个，表明其因更强的分层区分能力而具备更高精度。