[论文解读] Transfer Adversarial Hashing for Hamming Space Retrieval

Zhangjie Cao, Mingsheng Long+2 more|arXiv (Cornell University)|Dec 13, 2017

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

本文提出迁移对抗哈希（TAH），一种深度学习框架，通过结合成对 t-分布交叉熵损失以将相似哈希码集中于汉明半径 2 内，以及对抗网络以对齐源域和目标域的分布，实现在领域偏移数据上的高效汉明空间检索。TAH 在 NUS-WIDE 和 VisDA2017 基准测试中达到最先进性能，在源域与目标域不同的迁移设置下显著提升了检索准确率。

ABSTRACT

Hashing is widely applied to large-scale image retrieval due to the storage and retrieval efficiency. Existing work on deep hashing assumes that the database in the target domain is identically distributed with the training set in the source domain. This paper relaxes this assumption to a transfer retrieval setting, which allows the database and the training set to come from different but relevant domains. However, the transfer retrieval setting will introduce two technical difficulties: first, the hash model trained on the source domain cannot work well on the target domain due to the large distribution gap; second, the domain gap makes it difficult to concentrate the database points to be within a small Hamming ball. As a consequence, transfer retrieval performance within Hamming Radius 2 degrades significantly in existing hashing methods. This paper presents Transfer Adversarial Hashing (TAH), a new hybrid deep architecture that incorporates a pairwise $t$-distribution cross-entropy loss to learn concentrated hash codes and an adversarial network to align the data distributions between the source and target domains. TAH can generate compact transfer hash codes for efficient image retrieval on both source and target domains. Comprehensive experiments validate that TAH yields state of the art Hamming space retrieval performance on standard datasets.

研究动机与目标

• 为解决深度哈希图像检索中源域与目标域之间存在巨大分布差距的挑战。
• 在训练数据与数据库数据来自不同但相关领域时，提升汉明半径 2 内的汉明空间检索性能。
• 开发一种统一的深度架构，联合学习相似性关系并对齐域分布，以生成可迁移的哈希码。
• 克服因目标域汉明球中相似点分布稀疏而导致的检索质量下降问题。

提出的方法

• 引入成对 t-分布交叉熵损失，以促使相似数据点在哈希空间中集中于汉明半径 2 的球体内。
• 采用对抗网络对齐源域和目标域的特征分布，减少领域偏移。
• 设计端到端的深度神经网络，联合优化相似性保持与领域对齐。
• 利用无监督的目标域数据增强领域自适应，而无需目标域中的标注数据。
• 利用混合架构生成紧凑且可迁移的哈希码，确保跨域间保持语义相似性。
• 应用对抗训练，以最小化潜在空间中源域与目标域之间的分布差距。

实验结果

研究问题

• RQ1 在源域上训练的深度哈希模型能否在数据分布不同的目标域上有效泛化？
• RQ2 在领域偏移条件下，如何优化哈希码以在汉明半径 2 内维持高检索准确率？
• RQ3 与标准交叉熵相比，基于 t-分布的相似性损失在多大程度上提升了汉明空间中相似点的聚集效果？
• RQ4 对抗域对齐是否优于如 MMD 等分布匹配方法在迁移哈希中的表现？
• RQ5 TAH 的组件——相似性学习与域对齐——对检索性能的独立贡献程度如何？

主要发现

• 在迁移检索设置下，TAH 在 NUS-WIDE 和 VisDA2017 数据集上均达到最先进平均平均精度（MAP）。
• 在 VisDA2017 数据集上，TAH 在 48 位下实现 0.784 的 MAP（真实→合成任务），比次优方法高出 0.067。
• TAH-t 变体（用标准交叉熵替换 t-分布损失）平均 MAP 下降 0.031，证实了 t-分布损失的优越性。
• TAH-A 变体（省略对抗学习）在合成→真实任务中平均 MAP 下降 0.078，证明了域对齐的重要性。
• 在不同检索阈值下，精确率保持稳定而召回率持续上升，表明 TAH 的 t-分布损失能有效将相关点集中于汉明半径 2 内。
• 可视化结果表明，与 DHN 和 HashNet 相比，TAH 在跨域设置下检索到更多相关且符合用户期望的图像。