[论文解读] Semi-supervised Hashing for Semi-Paired Cross-View Retrieval

Jun Yu, Xiao‐Jun Wu+1 more|arXiv (Cornell University)|Jun 19, 2018

Advanced Image and Video Retrieval Techniques参考文献 10被引用 3

一句话总结

本文提出了一种用于半配对跨视角检索的半监督哈希框架，通过利用部分标签信息，联合学习特征提取与分类。通过结合使用有标签和无标签数据，该方法在两个基准数据集上的检索准确率优于当前最先进方法。

ABSTRACT

Recently, hashing techniques have gained importance in large-scale retrieval tasks because of their retrieval speed. Most of the existing cross-view frameworks assume that data are well paired. However, the fully-paired multiview situation is not universal in real applications. The aim of the method proposed in this paper is to learn the hashing function for semi-paired cross-view retrieval tasks. To utilize the label information of partial data, we propose a semi-supervised hashing learning framework which jointly performs feature extraction and classifier learning. The experimental results on two datasets show that our method outperforms several state-of-the-art methods in terms of retrieval accuracy.

研究动机与目标

• 解决现有跨视角哈希方法假设数据完全配对的局限性，而这种完全配对在实际应用中并不常见。
• 在仅存在部分数据配对的场景下，实现有效的检索。
• 利用有限的有标签数据和丰富的无标签数据，以改进哈希函数的学习。
• 开发一个统一框架，联合优化特征提取与分类器学习，以提升检索性能。
• 在半配对跨视角检索任务中，实现比当前最先进方法更高的检索准确率。

提出的方法

• 提出一种半监督哈希框架，将特征学习与分类器学习整合在联合优化过程中。
• 利用部分数据子集中的标签信息，指导哈希函数的学习。
• 制定学习目标，以保持配对样本之间的语义相似性，同时对齐多视角的特征。
• 引入一个分类器头，与哈希网络同步训练，以增强判别能力。
• 使用结合对比损失、分类损失和正则化项的损失函数，端到端优化模型。
• 应用深度神经网络从多个视角提取深度特征，随后生成二值编码。

实验结果

研究问题

• RQ1 在仅存在部分数据配对的半配对跨视角检索中，该半监督哈希框架是否能有效处理？
• RQ2 与独立训练相比，联合学习特征与分类器在提升检索准确率方面有何优势？
• RQ3 在低监督设置下，使用部分标签信息能在多大程度上提升性能？
• RQ4 在半配对场景中，该方法是否优于完全配对或无监督基线方法？
• RQ5 该方法在不同数据配对程度的数据集上是否表现出良好的鲁棒性？

主要发现

• 在两个基准数据集上，所提方法的平均平均精度（mAP）均高于当前最先进方法。
• 当仅有少量数据被标注时，模型表现出显著的性能提升，证明了半监督学习的有效性。
• 联合优化特征学习与分类器学习，相比单独训练，能生成更具判别性的哈希码。
• 即使在有标签数据有限的情况下，该方法仍保持强劲性能，显示出对标签稀缺的鲁棒性。
• 实验结果证实，该框架在半配对检索设置下优于现有跨视角哈希方法。
• 消融实验验证了半监督损失和联合学习组件对性能的显著贡献。