[论文解读] Multi-Similarity Loss with General Pair Weighting for Deep Metric Learning

Xun Wang, Xintong Han+3 more|arXiv (Cornell University)|Apr 14, 2019

Advanced Image and Video Retrieval Techniques参考文献 6被引用 105

一句话总结

本论文为基于对对比的深度度量学习提出 General Pair Weighting (GPW) 框架，并提出 Multi-Similarity (MS) 损失，该损失联合利用自相似、正相关相似和负相关相似来挖掘并加权信息量大的对， 在若干图像检索基准上取得新的最优性能。

ABSTRACT

A family of loss functions built on pair-based computation have been proposed in the literature which provide a myriad of solutions for deep metric learning. In this paper, we provide a general weighting framework for understanding recent pair-based loss functions. Our contributions are three-fold: (1) we establish a General Pair Weighting (GPW) framework, which casts the sampling problem of deep metric learning into a unified view of pair weighting through gradient analysis, providing a powerful tool for understanding recent pair-based loss functions; (2) we show that with GPW, various existing pair-based methods can be compared and discussed comprehensively, with clear differences and key limitations identified; (3) we propose a new loss called multi-similarity loss (MS loss) under the GPW, which is implemented in two iterative steps (i.e., mining and weighting). This allows it to fully consider three similarities for pair weighting, providing a more principled approach for collecting and weighting informative pairs. Finally, the proposed MS loss obtains new state-of-the-art performance on four image retrieval benchmarks, where it outperforms the most recent approaches, such as ABE\cite{Kim_2018_ECCV} and HTL by a large margin: 60.6% to 65.7% on CUB200, and 80.9% to 88.0% on In-Shop Clothes Retrieval dataset at Recall@1. Code is available at https://github.com/MalongTech/research-ms-loss.

研究动机与目标

• 将深度度量学习的采样问题通过梯度分析改写为一个通用的对权重框架（GPW）。
• 通过 GPW 分析并比较现有的基于对的损失，识别关键相似性与局限性。
• 引入具有两阶段迭代的 MS 损失（挖掘和加权），以在对权重中利用三种类型的相似性。
• 在标准基准数据集（CUB200、Cars-196、SOP、In-Shop）上展示最先进的图像检索性能。

提出的方法

• 将 GPW 定义为在单位球嵌入上将基于对的损失表达为对相似性的加权和。
• 识别三种类型的对相似性：Self-similarity (S)、Positive-relative similarity (P)、和 Negative-relative similarity (N)。
• 提出 MS 损失，包含两个阶段：(i) 基于 Similarity-P 的信息对挖掘；(ii) 使用 Similarity-S 和 Similarity-N 对挖掘出的对进行加权，方程 (13) 与 (14)。
• 给出 MS 损失的公式（Eq. 15），将矿化与对正负惩罚的加权结合起来。
• 使用来自二项偏差和 lifted structure 概念的两种带超参数的加权组件来实现对鲁棒的加权。
• 在端到端的 PyTorch 实现中，使用 Inception 主干，在四个数据集（CUB200、Cars-196、SOP、In-Shop）上评估 MS 损失。

实验结果

研究问题

• RQ1 一个统一的 General Pair Weighting (GPW) 框架是否能解释现有的基于对的损失并揭示其局限性？
• RQ2 多视角的相似性（Self、Positive-relative、Negative-relative）是否能提高深度度量学习中抽样对的的信息量？
• RQ3 提出的 Multi-Similarity (MS) 损失是否在标准图像检索基准上优于现有的基于对的损失？
• RQ4 在 MS 中整合挖掘与加权与仅使用单独组件或 prior 损失的简单组合相比，有何差异？

主要发现

• MS 损失结合 GPW 在若干图像检索基准上达到最优性能。
• 在 CUB200 上，MS 损失比最近的方法（ABE）在 Recall@1 上提升约 5 个点。
• 在 In-Shop 上，MS 损失在 Recall@1 上相比 HTL 的提升约 7 个点，且在 Recall@1（例如从 80.9% 提升至 88.0%）显示出显著收益。
• 在 CUB200、Cars-196、SOP 和 In-Shop 数据集上，使用嵌入维度 128–512 的 MS 损失始终优于基线和可比方法。
• 消融研究表明，在挖掘和加权中同时引入 Similarity-S、Similarity-P 和 Similarity-N 能获得最佳 Recall@K，优于仅使用部分相似性的变体。
• MS 损失在不同嵌入维度下仍然有效，随着维度增大到 512 时收益增加（超过部分收益递减）。