[论文解读] Probability Weighted Compact Feature for Domain Adaptive Retrieval

Fuxiang Huang, Lei Zhang+2 more|arXiv (Cornell University)|Mar 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 33被引用 4

一句话总结

本文提出概率加权紧凑特征学习（PWCF），一种新颖的跨域图像检索方法，通过贝叶斯视角推导的损失函数与邻域直方图特征（HFON）建模域间相关性并缓解分布差异。通过将BP诱导的焦点三元组损失、量化损失与分类损失结合共享流形结构，PWCF在跨域与单域检索中均实现最先进性能，在基准数据集上使用紧凑二进制码实现超越现有方法的性能表现。

ABSTRACT

Domain adaptive image retrieval includes single-domain retrieval and cross-domain retrieval. Most of the existing image retrieval methods only focus on single-domain retrieval, which assumes that the distributions of retrieval databases and queries are similar. However, in practical application, the discrepancies between retrieval databases often taken in ideal illumination/pose/background/camera conditions and queries usually obtained in uncontrolled conditions are very large. In this paper, considering the practical application, we focus on challenging cross-domain retrieval. To address the problem, we propose an effective method named Probability Weighted Compact Feature Learning (PWCF), which provides inter-domain correlation guidance to promote cross-domain retrieval accuracy and learns a series of compact binary codes to improve the retrieval speed. First, we derive our loss function through the Maximum A Posteriori Estimation (MAP): Bayesian Perspective (BP) induced focal-triplet loss, BP induced quantization loss and BP induced classification loss. Second, we propose a common manifold structure between domains to explore the potential correlation across domains. Considering the original feature representation is biased due to the inter-domain discrepancy, the manifold structure is difficult to be constructed. Therefore, we propose a new feature named Histogram Feature of Neighbors (HFON) from the sample statistics perspective. Extensive experiments on various benchmark databases validate that our method outperforms many state-of-the-art image retrieval methods for domain adaptive image retrieval. The source code is available at https://github.com/fuxianghuang1/PWCF

研究动机与目标

• 解决当查询与数据库来自不同域时因分布差异导致的图像检索性能下降问题。
• 在传统方法假设数据分布相似的跨域场景中，提升检索准确性。
• 开发一种紧凑的二进制特征表示，以加速检索速度，同时保持跨域语义相似性。
• 通过共享流形结构建模域间样本相关性，减轻域偏移的影响。
• 提出一种鲁棒的相似性度量方法——邻域直方图特征（HFON），以更好地捕捉跨域邻域关系。

提出的方法

• 推导三种基于贝叶斯视角（BP）的损失函数：焦点三元组损失、量化损失与分类损失，以优化二进制特征学习。
• 在不同域之间构建共同流形结构，以在汉明空间中保持有意义的最近邻关系。
• 引入邻域直方图特征（HFON）作为域鲁棒的特征表示，以减少域间分布偏移带来的偏差。
• 使用最大后验估计（MAP）推导损失函数，增强特征判别性并降低量化误差。
• 采用可变交替优化策略联合训练模型各组件，确保收敛性。
• 将所有组件整合至统一框架中，联合优化特征学习、量化与跨域相关性建模。

实验结果

研究问题

• RQ1 与标准三元组或分类损失相比，基于贝叶斯优化的损失函数是否能提升跨域图像检索性能？
• RQ2 在分布偏移条件下，所提出的邻域直方图特征（HFON）在建模跨域样本相似性方面效果如何？
• RQ3 共享流形结构在二进制特征空间中在多大程度上增强了域间相关性学习？
• RQ4 多种BP诱导损失的集成是否能生成优于单一组件的紧凑二进制码表示？
• RQ5 PWCF在跨域与单域检索设置下，于多样化数据集与不同码长下的表现如何？

主要发现

• 在Office-Home数据集上，PWCF使用128位码时达到73.89%的平均平均精度（mAP），显著优于最先进方法。
• 在MNIST&USPS数据集上，PWCF在64位码下实现71.64%的mAP用于跨域检索，展现出强大泛化能力。
• 消融实验表明，移除任一组件——尤其是BP诱导的焦点三元组损失或HFON——均导致性能显著下降。
• 所提方法收敛迅速，目标函数曲线在多个数据集上显示稳定收敛，仅需少数迭代。
• PWCF在多种码长下均保持高性能，展现出在实际部署中的鲁棒性与可扩展性。
• 引入流形损失与HFON可一致提升检索准确率，证明其在建模跨域关系方面的有效性。