[论文解读] Statistical and Algorithmic Insights for Semi-supervised Learning with Self-training

Samet Oymak, Talha Cihad Gülcü|arXiv (Cornell University)|Jun 19, 2020

Machine Learning and ELM参考文献 41被引用 15

一句话总结

本文通过高斯混合模型对线性分类器的自训练提供了理论洞见，表明基于置信度的样本过滤和正则化可提升收敛性和泛化性能。研究证明，类别间隔和岭正则化对于避免次优不动点至关重要，并形式化了自训练与弱监督之间通过损失景观兼容性建立的联系。

ABSTRACT

Self-training is a classical approach in semi-supervised learning which is successfully applied to a variety of machine learning problems. Self-training algorithm generates pseudo-labels for the unlabeled examples and progressively refines these pseudo-labels which hopefully coincides with the actual labels. This work provides theoretical insights into self-training algorithm with a focus on linear classifiers. We first investigate Gaussian mixture models and provide a sharp non-asymptotic finite-sample characterization of the self-training iterations. Our analysis reveals the provable benefits of rejecting samples with low confidence and demonstrates that self-training iterations gracefully improve the model accuracy even if they do get stuck in sub-optimal fixed points. We then demonstrate that regularization and class margin (i.e. separation) is provably important for the success and lack of regularization may prevent self-training from identifying the core features in the data. Finally, we discuss statistical aspects of empirical risk minimization with self-training for general distributions. We show how a purely unsupervised notion of generalization based on self-training based clustering can be formalized based on cluster margin. We then establish a connection between self-training based semi-supervision and the more general problem of learning with heterogenous data and weak supervision.

研究动机与目标

• 理解自训练在半监督学习中对线性分类器何时且为何有效。
• 分析置信度阈值和正则化对自训练收敛性和性能的影响。
• 基于自训练产生的聚类间隔，形式化一种无监督的泛化概念。
• 将自训练与异质数据学习和弱监督的更广泛问题联系起来。
• 在高斯混合模型下，为自训练提供非渐近、有限样本的理论保证。

提出的方法

• 在具有两个分量的高斯混合模型（GMM）下分析自训练，推导最优分类器与自训练输出之间相关性的精确有限样本动态。
• 采用非渐近、分布式的分析方法，刻画模型性能在迭代过程中的演化。
• 引入基于间隔的条件，通过混合成分均值之间的距离判断自训练何时收敛到有用解。
• 应用岭正则化和早停策略，引导自训练聚焦于主特征方向，模拟幂迭代行为。
• 利用Rademacher复杂度形式化统计学习界，将弱监督（自训练）与强监督（标注数据）联系起来。
• 通过子水平集交集定义监督与无监督损失函数之间的兼容性，实现在少量标注样本下的泛化保证。

实验结果

研究问题

• RQ1 在何种条件下，自训练可在有限样本下保证提升模型准确率？
• RQ2 拒绝低置信度伪标签样本如何影响自训练性能？
• RQ3 类别间隔（混合成分均值之间的分离）在自训练收敛中起什么作用？
• RQ4 正则化和早停能否弥补自训练中缺乏间隔的问题？
• RQ5 如何形式化地将自训练与弱监督学习及异质数据联系起来？

主要发现

• 通过置信度阈值的自训练可证明提升准确率，通过过滤不可靠的伪标签，即使在有限样本下亦成立。
• 若混合分量之间无间隔，基于最小二乘损失的无正则化自训练可证明无法收敛到有用解。
• 岭正则化和早停策略使自训练能收敛到良好模型，通过聚焦于主特征方向，类似于幂迭代行为。
• 理论分析表明，自训练可被视为一种弱监督形式，当监督与无监督损失的子水平集相交时，泛化性能可得到保证。
• 建立了统计学习界：当未标注数据足够多以缩小搜索空间时，仅需少量标注样本即可实现泛化。
• 该框架形式化了一种基于自训练聚类诱导间隔的无监督泛化概念，为自监督学习提供了统计基础。