[论文解读] The Pessimistic Limits and Possibilities of Margin-based Losses in Semi-supervised Learning

Jesse H. Krijthe, Marco Loog|arXiv (Cornell University)|Dec 28, 2016

Machine Learning and Data Classification被引用 4

一句话总结

本文研究了使用凸边界损失函数的半监督学习的理论极限。证明了对于递减的凸边界损失函数（例如合页损失），不存在任何半监督方法能保证在所有可能的未标记数据标记情况下性能优于监督学习。相反，对于递增损失函数（例如二次损失），在特定条件下可以实现安全改进，揭示了悲观安全半监督学习可行性中的根本性二分法。

ABSTRACT

Consider a classification problem where we have both labeled and unlabeled data available. We show that for linear classifiers defined by convex margin-based surrogate losses that are decreasing, it is impossible to construct any semi-supervised approach that is able to guarantee an improvement over the supervised classifier measured by this surrogate loss on the labeled and unlabeled data. For convex margin-based loss functions that also increase, we demonstrate safe improvements are possible.

研究动机与目标

• 确定在未标记数据的所有可能标记情况下，半监督学习是否可以被严格保证安全——即与监督学习相比不会出现性能下降。
• 分析凸边界损失函数在决定安全半监督学习可行性中的作用。
• 区分损失函数在边界上递减与递增的情况，并评估其对性能保证的影响。
• 形式化一种悲观的、有限样本的准则，用于安全半监督学习，该准则对所有可能的未标记数据标记均成立。
• 通过避免不可测试的条件（如低密度分隔线或分布假设）来挑战先前研究中的假设。

提出的方法

• 在一种归纳设定中进行形式化，其中性能在固定的一组标记和未标记数据上进行衡量，监督学习和半监督学习分类器使用相同的代理损失函数。
• 将‘安全’半监督学习定义为：在未标记数据集的所有可能标记下，其性能从未劣于监督分类器在合并数据上的表现。
• 分析凸边界损失函数，重点关注其单调性：即损失函数在边界上是递减还是递增。
• 利用部分赋值论证表明，对于递减损失函数，任何偏离监督学习解的半监督解都可通过某种未标记数据的标记方式被逆转，因此无法保证性能提升。
• 推导出在何种条件下递增损失函数（例如二次损失）允许实现安全改进，通过确保半监督目标函数能严格优于监督目标函数。
• 在监督学习和半监督学习模型中固定正则化参数，以隔离未标记数据对性能影响的独立效应。

实验结果

研究问题

• RQ1 在悲观的、有限样本准则下，是否存在任何半监督学习方法，能保证在所有可能的未标记数据标记情况下，性能均优于监督学习？
• RQ2 为何递减的凸边界损失函数（例如合页损失）在本质上无法支持安全的半监督改进？
• RQ3 在何种条件下，递增的凸边界损失函数（例如二次损失）能够支持安全的半监督改进？
• RQ4 在监督学习和半监督学习中使用相同的代理损失函数，如何影响性能比较的有效性？
• RQ5 先前假设（如低密度分隔线或分布约束）在多大程度上限制了安全半监督学习保证的普适性？

主要发现

• 对于递减的凸边界损失函数，不存在任何半监督方法能保证在所有可能的未标记数据标记下性能优于监督分类器。
• 这种不可能性源于：任何偏离监督学习解的半监督解，都可通过某种未标记数据的标记方式被逆转，从而恢复监督目标值，因此无法保证性能提升。
• 对于在某些区间内递增的损失函数（例如二次损失），在特定条件下可以实现安全改进，表明损失函数的单调性是可行性的一个关键决定因素。
• 研究结果反驳了Ben-David等人（2008）的观点，即在缺乏强分布假设时改进不可能实现，因为即使在VC维有限的情况下，当损失函数递增时，安全改进仍是可能的。
• 本研究揭示，代理损失函数的单调性——具体而言，其随边界增大而增加或减少——决定了悲观安全半监督学习在理论上是否可能。
• 研究结果意味着，尽管许多标准方法（如使用合页损失的SVM）在此意义上无法实现严格安全，但其他方法（如使用二次损失的最小二乘分类器）在相同准则下可能是可行的。