[论文解读] Unbiased Evaluation of Deep Metric Learning Algorithms

István Fehérvári, Avinash Ravichandran+1 more|arXiv (Cornell University)|Nov 28, 2019

Domain Adaptation and Few-Shot Learning参考文献 35被引用 8

一句话总结

本文在相同训练条件下对12种最先进深度度量学习（DML）算法进行了公平、无偏见的评估，包括共享超参数、主干网络和数据集划分。结果表明，在相同设置下，较老的方法如边缘损失和基于代理的损失优于较新的方法，挑战了先前对性能排名的假设，并在CUB200、CAR196和Stanford Online Products数据集上建立了新的SOTA基线，代码已开源并进行了超参数调优。

ABSTRACT

Deep metric learning (DML) is a popular approach for images retrieval, solving verification (same or not) problems and addressing open set classification. Arguably, the most common DML approach is with triplet loss, despite significant advances in the area of DML. Triplet loss suffers from several issues such as collapse of the embeddings, high sensitivity to sampling schemes and more importantly a lack of performance when compared to more modern methods. We attribute this adoption to a lack of fair comparisons between various methods and the difficulty in adopting them for novel problem statements. In this paper, we perform an unbiased comparison of the most popular DML baseline methods under same conditions and more importantly, not obfuscating any hyper parameter tuning or adjustment needed to favor a particular method. We find, that under equal conditions several older methods perform significantly better than previously believed. In fact, our unified implementation of 12 recently introduced DML algorithms achieve state-of-the art performance on CUB200, CAR196, and Stanford Online products datasets which establishes a new set of baselines for future DML research. The codebase and all tuned hyperparameters will be open-sourced for reproducibility and to serve as a source of benchmark.

研究动机与目标

• 为解决深度度量学习（DML）研究中因超参数调优不一致、主干网络不同和评估条件差异导致的缺乏公平、无偏比较的问题。
• 在相同的训练配置下评估主流DML方法的真实性能排名，包括共享的特征提取器、嵌入维度和批量大小。
• 识别出此前未报告的超参数技巧和配置敏感性，这些因素对模型性能有显著影响。
• 通过发布统一的代码库和调优后的超参数，为未来DML研究建立一个新且可靠的基准，涵盖12种最先进算法。

提出的方法

• 在MXNet中实现12种近期DML算法的统一版本，以确保所有方法在训练和评估过程中的一致性。
• 所有模型均在三个标准数据集——CUB200、CAR196和Stanford Online Products上进行训练和评估，使用相同的主干网络（Inception-BN和ResNet50）、嵌入维度和批量大小。
• 为每种方法独立调优超参数，不偏向任何特定算法，避免使用可能偏向某些方法的特定优化策略。
• 系统性地改变关键训练因素：嵌入维度（16–256）、批量大小（2–128）和主干网络架构（Inception-BN与ResNet50），同时保持其他所有设置不变。
• 采样策略统一为各方法推荐的默认设置，仅进行最小限度的变动，以隔离核心组件的影响。
• 性能通过Recall@K和归一化互信息（NMI）进行衡量，结果在所有数据集和配置下报告。

实验结果

研究问题

• RQ1 当在相同的训练条件和超参数设置下评估时，现代DML算法的性能排名如何变化？
• RQ2 嵌入维度、批量大小和主干网络选择在多大程度上影响不同DML损失函数的性能？
• RQ3 为何一些新提出的DML方法在进行公平比较时表现不如较老的方法？
• RQ4 在DML中实现最先进性能所必需的隐藏超参数配置或训练技巧是什么？为何这些技巧常被原始论文忽略？
• RQ5 当所有方法在相同条件下训练时，基于代理的损失和基于边缘的损失能否优于基于三元组的损失？

主要发现

• 在相同训练条件下，使用半硬负样本挖掘的三元组损失在所有数据集上的表现最差，与其广泛采用的现状相矛盾。
• 如边缘损失和代理-Softmax等方法在CUB200、CAR196和Stanford Online Products上均取得了最先进性能，优于较新的算法。
• 在CUB200上，代理-Softmax在Inception-BN主干下达到89.93%的Recall@1，而代理-NCA达到88.93%，两者均设定了新的SOTA基线。
• 主干网络的选择显著影响性能：ResNet50使大多数方法性能下降，但边缘损失的性能从51.3%提升至59.6%的Recall@1。
• 较大的批量大小提升了几乎所有损失函数的性能，但代理-Softmax除外，其因内在采样机制在小批量下表现依然优异。
• 嵌入维度具有非平凡的影响：对于基于铰链的损失，更大的维度能提升性能，但并非对所有方法都如此，表明损失类型与表示容量之间存在复杂相互作用。