[论文解读] Transfer Hashing with Privileged Information

Joey Tianyi Zhou, Xinxing Xu+4 more|arXiv (Cornell University)|May 13, 2016

Advanced Image and Video Retrieval Techniques参考文献 25被引用 8

一句话总结

该论文提出了一种新型框架——带特权信息的迁移哈希（THPI），通过利用源域中的特权数据来提升数据稀缺目标域中的哈希性能。通过将迭代量化（ITQ）扩展为由特权信息正则化的松弛函数，并结合LapITQ+引入图结构，该方法在小样本目标数据下实现了最先进性能，尤其在基准数据集上的平均精度（MAP）较基线方法高出1–2%。

ABSTRACT

Most existing learning to hash methods assume that there are sufficient data, either labeled or unlabeled, on the domain of interest (i.e., the target domain) for training. However, this assumption cannot be satisfied in some real-world applications. To address this data sparsity issue in hashing, inspired by transfer learning, we propose a new framework named Transfer Hashing with Privileged Information (THPI). Specifically, we extend the standard learning to hash method, Iterative Quantization (ITQ), in a transfer learning manner, namely ITQ+. In ITQ+, a new slack function is learned from auxiliary data to approximate the quantization error in ITQ. We developed an alternating optimization approach to solve the resultant optimization problem for ITQ+. We further extend ITQ+ to LapITQ+ by utilizing the geometry structure among the auxiliary data for learning more precise binary codes in the target domain. Extensive experiments on several benchmark datasets verify the effectiveness of our proposed approaches through comparisons with several state-of-the-art baselines.

研究动机与目标

• 解决学习哈希方法中因目标域标注或未标注数据不足而导致的数据稀疏性问题，该问题会限制模型性能。
• 利用源域中的辅助数据（如来自Amazon的专业产品图像），其中在训练期间可访问特权信息（如高质量图像），但测试时不可用。
• 开发一种迁移学习框架，将源域知识迁移至目标域，以在目标域数据极少时提升哈希码学习效果。
• 通过引入源域的几何结构，进一步优化哈希码学习并提升泛化能力。
• 证明特权信息可显著减少所需的目标训练数据量，同时保持或提升检索精度。

提出的方法

• 提出ITQ+，作为迭代量化（ITQ）的扩展，其中从特权数据中学习一种新型松弛函数，用于正则化目标域中的量化误差。
• 制定一种交替优化算法，求解ITQ+的优化问题，联合学习哈希函数与松弛函数。
• 提出LapITQ+，通过引入源自源域数据几何结构的图先验，扩展ITQ+以提升哈希码的精度。
• 利用源域数据的潜在流形结构，指导目标域中二进制码的学习，从而增强泛化能力。
• 采用两阶段学习流程：首先使用所有可用的源域数据（包括非对应数据）学习源域哈希码，然后利用该结构正则化目标域学习过程。
• 通过两个超参数λ₁（松弛正则化）和λ₂（图正则化）优化目标函数，在实验中观察到对参数选择具有鲁棒性。

实验结果

研究问题

• RQ1 来自源域的特权信息是否能显著提升在训练数据有限的目标域中的哈希性能？
• RQ2 将源自特权数据的松弛函数引入后，是否能在低数据环境下比标准ITQ更有效地减少量化误差？
• RQ3 对源域数据几何结构的建模是否能进一步提升目标域中学习到的二进制码的质量？
• RQ4 在数据稀缺条件下，所提方法在平均精度（MAP）方面与最先进哈希基线相比表现如何？
• RQ5 所提方法的性能是否对超参数λ₁和λ₂的变化具有鲁棒性？

主要发现

• ITQ+与LapITQ+在所有基线方法（包括CCA-ITQ、CVH和DSH）中表现最优，尤其在目标域训练数据有限时优势显著。
• 在BBC、Reuters和NUS-WIDE数据集上，LapITQ+在所有位长下相较ITQ+的MAP提升1–2%，证明了图结构的有益作用。
• 当仅使用10%的目标数据进行训练时，ITQ+与LapITQ+的MAP显著高于其他方法，表明其在数据稀缺条件下的强泛化能力。
• Top-K精度结果证实，所提方法在所有K值下均保持优越的检索性能，且在早期检索排名中表现一致更优。
• 参数分析表明，LapITQ+对超参数设置具有鲁棒性，当λ₁与λ₂在大范围内变化时，性能下降极小。
• 由特权数据导出的松弛函数比直接数据融合或基于CCA的预处理更有效，所有基准测试中均表现出更优性能。