[论文解读] Revisiting Training Strategies and Generalization Performance in Deep Metric Learning

Karsten Roth, Timo Milbich+4 more|arXiv (Cornell University)|Feb 19, 2020

Face recognition and analysis参考文献 68被引用 79

一句话总结

本文在一致的训练条件下对深度度量学习(DML)基线进行了全面的统一评估，分析了 mini-batch 采样和嵌入空间压缩，并提出了一种简单正则化以提升基于排序的 DML 方法的泛化能力。

ABSTRACT

Deep Metric Learning (DML) is arguably one of the most influential lines of research for learning visual similarities with many proposed approaches every year. Although the field benefits from the rapid progress, the divergence in training protocols, architectures, and parameter choices make an unbiased comparison difficult. To provide a consistent reference point, we revisit the most widely used DML objective functions and conduct a study of the crucial parameter choices as well as the commonly neglected mini-batch sampling process. Under consistent comparison, DML objectives show much higher saturation than indicated by literature. Further based on our analysis, we uncover a correlation between the embedding space density and compression to the generalization performance of DML models. Exploiting these insights, we propose a simple, yet effective, training regularization to reliably boost the performance of ranking-based DML models on various standard benchmark datasets. Code and a publicly accessible WandB-repo are available at https://github.com/Confusezius/Revisiting_Deep_Metric_Learning_PyTorch.

研究动机与目标

• 评估在统一条件下训练目标、数据采样和模型设计选择如何影响 DML 性能。
• 评估 mini-batch 采样对 DML 优化和泛化的影响。
• 研究嵌入空间结构（压缩、边距、类内方差）如何关联 DML 泛化。
• 提出一种正则化技术以提升基于排序的 DML 方法的泛化。

提出的方法

• 在一致的训练设置下，回顾并重新实现常见的 DML 目标（基于排序、基于分类、基于代理）。
• 系统性研究 mini-batch 采样策略（基于标签的 SPC n 与带记忆库的嵌入采样）以衡量对性能的影响。
• 通过光谱衰减（SVD）和类别条件统计分析学习到的嵌入空间，以将泛化与嵌入空间属性相关联。
• 提出并验证一种正则化技术以降低嵌入空间压缩，从而提升泛化。
• 在标准基准（CUB200-2011, CARS196, SOP）上进行穷尽性实验，使用固定架构（基于 ResNet50）的训练协议以实现公平比较。

实验结果

研究问题

• RQ1 在跨体系结构和数据集保持训练条件不变的情况下，不同的 DML 目标函数的表现如何？
• RQ2 mini-batch 采样在塑造 DML 优化和泛化中的作用是什么？
• RQ3 在训练/测试分布转移下，学习到的嵌入的光谱衰减与泛化之间的关系如何？
• RQ4 能否通过控制嵌入空间压缩的正则化来提高基于排序的 DML 方法的泛化？

主要发现

• 在仔细匹配的训练条件下，DML 目标函数的性能趋于饱和，许多损失在标准基准上表现相似。
• 批量大小、数据预处理和架构选择显著影响结果；不一致的报告阻碍公平比较。
• 泛化与嵌入空间光谱衰减之间存在显著的负相关；更多的方差方向支持更好的迁移/泛化。
• 嵌入空间压缩与较差的泛化相关，而一种简单的正则化以降低压缩可提升基于排序的 DML 性能。
• 简单的 mini-batch 策略（SPC-2）和更大批量多样性在跨数据集上可以超过更复杂的挖掘方法。