[论文解读] Noise-resistant Deep Metric Learning with Ranking-based Instance Selection

Chang Liu, Han Yu+7 more|arXiv (Cornell University)|Mar 30, 2021

Advanced Image and Video Retrieval Techniques参考文献 7被引用 6

一句话总结

本文提出 PRISM，一种抗噪声的深度度量学习方法，通过基于概率排序的实例选择与记忆库结合，在训练过程中识别并过滤噪声标签。通过利用多个网络快照中的特征相似性，PRISM 提升了模型的鲁棒性，在标签噪声环境下，Precision@1 最高比现有方法提升 6.06%。

ABSTRACT

The existence of noisy labels in real-world data negatively impacts the performance of deep learning models. Although much research effort has been devoted to improving robustness to noisy labels in classification tasks, the problem of noisy labels in deep metric learning (DML) remains open. In this paper, we propose a noise-resistant training technique for DML, which we name Probabilistic Ranking-based Instance Selection with Memory (PRISM). PRISM identifies noisy data in a minibatch using average similarity against image features extracted by several previous versions of the neural network. These features are stored in and retrieved from a memory bank. To alleviate the high computational cost brought by the memory bank, we introduce an acceleration method that replaces individual data points with the class centers. In extensive comparisons with 12 existing approaches under both synthetic and real-world label noise, PRISM demonstrates superior performance of up to 6.06% in Precision@1.

研究动机与目标

• 解决在标签噪声下深度度量学习缺乏鲁棒方法的问题，尽管噪声抵抗分类方法已取得进展，但此问题仍为关键缺口。
• 开发一种无需依赖人工标注或类别转移矩阵即可识别噪声训练样本的技术。
• 通过利用多个网络快照中历史感知的动态相似性评分，过滤噪声样本，提升度量学习的泛化能力。
• 通过类别中心近似降低基于记忆库过滤的计算成本，同时保持性能。
• 在合成噪声、真实世界噪声以及开放集噪声场景下验证方法的有效性，包括一种新型的小簇噪声模型。

提出的方法

• PRISM 通过计算数据点与记忆库中其他样本的平均相似度，估计标签为干净的概率，该相似度基于先前网络权重的特征得出。
• 该方法维护一个记忆库，存储多个过去训练迭代的特征，以支持在不同模型状态间进行比较。
• 一个概率排序函数 $ P_{\text{clean}}(i) $ 根据样本与记忆库中同类别其他样本的相似度对实例进行排序。
• 平滑的 Top-R（sTRM）技巧通过在训练迭代上使用滑动窗口，动态调整识别噪声实例的阈值。
• 一种加速技术在相似性计算中用类别中心替代单个数据点，使 SOP 数据集上的计算量减少高达 6.9 倍。
• 该方法兼容基于记忆库和基于类别中心的训练，具备灵活性与可扩展性。

Figure 1 : Example images in CARS-98N. Images in the first row have clean labels. The second row shows some images with noisy labels, including car interiors and car parts.

实验结果

研究问题

• RQ1 是否一种基于记忆增强与相似性的方法，能在不依赖类别转移矩阵的前提下，有效检测深度度量学习中的噪声标签？
• RQ2 与单次迭代的特征相比，使用多个过去网络权重如何提升噪声标签检测的可靠性？
• RQ3 在相似性计算中，用类别中心替代单个数据点，能在多大程度上降低计算成本而不损失性能？
• RQ4 PRISM 在多种噪声设置下表现如何，包括对称噪声、开放集噪声以及真实世界标签噪声？
• RQ5 识别噪声实例的最优阈值策略是什么？sTRM 技巧如何提升对噪声数据的鲁棒性？

主要发现

• 在对称噪声和真实世界标签噪声下，PRISM 的 Precision@1 最高比 12 种现有 DML 与抗噪声训练方法高出 6.06%。
• 在包含 25% 小簇噪声的 CARS 数据集上，PRISM 达到 75.40% 的 Precision@1 和 17.40% 的 MAP@R，优于基线过滤策略。
• sTRM 加速技术使 SOP 数据集上的训练时间减少 6.9 倍，同时保持高性能。
• PRISM 的最优过滤率 $ R = 50\% $ 对应 CARS-98N 数据集中约 50% 的标签噪声率。
• 消融实验证实，使用完整记忆库（Memory-positive）比仅使用批次内相似性（Batch-positive）更有效，且 PRISM 的完整公式（公式 2）性能最佳。
• 在 PRISM 框架下，模型性能保持稳定并随训练时间持续提升，而基线方法在噪声条件下训练 5,000 次迭代后出现过拟合并性能下降。

Figure 2 : The Precision@1 (%) vs number of iterations on CARS with 25% Small Cluster Noise.