[论文解读] On Measuring and Quantifying Performance: Error Rates, Surrogate Loss, and an Example in SSL

Marco Loog, Jesse H. Krijthe+1 more|arXiv (Cornell University)|Jul 13, 2017

Data Stream Mining Techniques参考文献 3被引用 4

一句话总结

本文提出不仅通过错误率，还通过其内在代理损失（如对数似然）来评估半监督学习（SSL）分类器，后者能更好地捕捉性能提升。结果表明，尽管错误率波动大且常无法随无标签数据改善，但对数似然等代理损失会随着无标签数据增多而持续且单调上升，从而为SSL策略提供更可靠的性能度量标准。

ABSTRACT

In various approaches to learning, notably in domain adaptation, active learning, learning under covariate shift, semi-supervised learning, learning with concept drift, and the like, one often wants to compare a baseline classifier to one or more advanced (or at least different) strategies. In this chapter, we basically argue that if such classifiers, in their respective training phases, optimize a so-called surrogate loss that it may also be valuable to compare the behavior of this loss on the test set, next to the regular classification error rate. It can provide us with an additional view on the classifiers' relative performances that error rates cannot capture. As an example, limited but convincing empirical results demonstrates that we may be able to find semi-supervised learning strategies that can guarantee performance improvements with increasing numbers of unlabeled data in terms of log-likelihood. In contrast, the latter may be impossible to guarantee for the classification error rate.

研究动机与目标

• 解决仅以错误率为唯一指标评估半监督学习（SSL）性能时的不可靠性问题。
• 论证在训练过程中通常被优化的代理损失，相较于错误率，能提供更稳定且更具信息量的性能度量。
• 通过实证证明，代理损失可随无标签数据增加而单调提升，而错误率则可能波动或恶化。
• 将此评估框架扩展至其他学习场景，如主动学习、域自适应以及数据分布变化下的学习。
• 提供证据表明，在一般条件下，基于代理损失的性能保证比基于错误率的保证更可行。

提出的方法

• 作者比较了在标签样本数量递增、无标签数据量变化的条件下，训练的监督学习模型、自学习模型以及约束型半监督分类器（NMC 和 LDA）。
• 在测试集上，同时使用标准的0/1分类错误率和内在代理损失（对数似然）评估模型性能。
• 每项实验重复1000次，以确保统计稳健性，并计算标准差区间。
• 所用代理损失为测试数据在估计模型下的对数似然，即最大似然估计中所优化的目标函数。
• 在多个基准数据集（如 wdbc、haberman、transfusion）上进行对比，以评估方法的泛化能力。
• 分析涵盖无约束自学习（如基于EM的方法）和约束型半监督方法，以对比不同SSL策略。

实验结果

研究问题

• RQ1 在半监督学习中，代理损失是否能提供比错误率更可靠且一致的分类器性能度量？
• RQ2 以代理损失（如对数似然）为目标进行优化的半监督学习策略，在以该损失衡量时，是否随无标签数据增加而表现出单调的性能提升？
• RQ3 在不同学习策略和数据集上，错误率与代理损失的行为差异程度如何？
• RQ4 即使无法保证错误率的性能提升，是否仍能基于代理损失建立有意义的性能保证？
• RQ5 代理损失作为性能度量是否在SSL之外也具有优势，例如在主动学习或域自适应中？

主要发现

• 自学习模型和约束型半监督模型的错误率在各数据集上表现出波动大、不一致，且常无改善，部分情况下甚至显著恶化。
• 相比之下，在22项实验中仅有两项例外，约束型半监督方法的测试数据对数似然随无标签数据增加而单调且显著上升。
• 对于自学习模型，当标签样本为4个时，对数似然在所有情况下均有所提升，但提升过程并非单调，表明学习动态不够稳定。
• 在全部22项实验中，约束方法均持续提升了代理损失（对数似然），表明其性能提升稳定且可预测。
• 研究发现，即使代理损失提升，错误率的改善也并非必然，凸显了仅依赖错误率的局限性。
• 结果表明，代理损失是评估SSL性能的更优指标，尤其在评估无标签数据影响时更具信息量和稳定性。