[论文解读] The Pessimistic Limits of Margin-based Losses in Semi-supervised Learning.

Jesse H. Krijthe, Marco Loog|arXiv (Cornell University)|Dec 28, 2016

Machine Learning and Data Classification参考文献 5被引用 1

一句话总结

本文表明，在线性分类器中，对于凸的、递减的基于边距的代理损失，当以相同损失在有标签和无标签数据上衡量时，任何半监督方法都无法保证优于监督学习。然而，对于凸的、递增的基于边距的损失，理论上可能存在安全的改进，从而确立了此类损失在半监督设置中效用的根本限制。

ABSTRACT

Consider a classification problem where we have both labeled and unlabeled data available. We show that for linear classifiers defined by convex margin-based surrogate losses that are decreasing, it is impossible to construct any semi-supervised approach that is able to guarantee an improvement over the supervised classifier measured by this surrogate loss on the labeled and unlabeled data. For convex margin-based loss functions that also increase, we demonstrate safe improvements are possible.

研究动机与目标

• 研究使用凸的基于边距的代理损失在半监督学习中的理论限制。
• 确定在使用此类损失时，半监督学习是否能通过理论证明改善泛化性能，超越监督学习。
• 根据代理损失的单调性（递增或递减）对基于边距的损失进行分类，以评估其在安全半监督改进方面的潜力。
• 建立半监督方法能够保证优于监督基线性能的条件。

提出的方法

• 分析聚焦于使用凸的、基于边距的代理损失（单调，即递减或递增）进行训练的线性分类器。
• 本文定义了一个理论框架，用于使用相同的代理损失在有标签和无标签数据上评估半监督方法的性能。
• 证明了对于递减的基于边距的损失，任何半监督方法都无法保证优于监督分类器的性能。
• 对于递增的基于边距的损失，本文构建了理论条件，表明理论上可能存在安全的改进。
• 分析依赖于凸优化原理以及代理损失函数在泛化界背景下的性质。

实验结果

研究问题

• RQ1 使用凸的、递减的基于边距的代理损失进行半监督学习，能否保证优于监督学习？
• RQ2 是否存在某些条件，使得使用递增的基于边距的损失时，半监督方法能通过理论证明改善泛化性能？
• RQ3 在使用基于边距的损失进行半监督学习时，线性分类器中存在哪些根本限制？
• RQ4 代理损失函数的单调性如何影响安全半监督改进的可能性？

主要发现

• 对于凸的、递减的基于边距的代理损失，当以相同损失在有标签和无标签数据上衡量时，任何半监督方法都无法保证优于监督分类器的性能。
• 相反，对于凸的、递增的基于边距的损失，通过半监督学习理论上可能存在泛化性能的安全改进。
• 对于递减损失的不可能性结果在所有此类损失函数中普遍成立，前提是满足指定条件。
• 该理论框架确立了明确的二分：损失函数的单调性决定了半监督改进是否可被理论证明实现。