[论文解读] Sinkhorn Label Allocation: Semi-Supervised Classification via Annealed Self-Training

Kai Sheng Tai, Peter Bailis+1 more|arXiv (Cornell University)|Feb 17, 2021

Machine Learning and Data Classification被引用 9

一句话总结

本文提出了一种新型半监督学习方法——Sinkhorn标签分配（SLA），将标签分配建模为基于分类器预测作为代价的样本与类别之间的最优传输问题。通过利用Sinkhorn迭代实现高效近似，并引入类别比例和标签质量的约束，SLA提升了自训练的准确性，在仅每类4个标注样本的情况下，CIFAR-10上的平均测试准确率达到94.83%，超越了FixMatch，且在每类25个标注样本时达到与之相当的性能。

ABSTRACT

Self-training is a standard approach to semi-supervised learning where the learner's own predictions on unlabeled data are used as supervision during training. In this paper, we reinterpret this label assignment process as an optimal transportation problem between examples and classes, wherein the cost of assigning an example to a class is mediated by the current predictions of the classifier. This formulation facilitates a practical annealing strategy for label assignment and allows for the inclusion of prior knowledge on class proportions via flexible upper bound constraints. The solutions to these assignment problems can be efficiently approximated using Sinkhorn iteration, thus enabling their use in the inner loop of standard stochastic optimization algorithms. We demonstrate the effectiveness of our algorithm on the CIFAR-10, CIFAR-100, and SVHN datasets in comparison with FixMatch, a state-of-the-art self-training algorithm. Our code is available at https://github.com/stanford-futuredata/sinkhorn-label-allocation.

研究动机与目标

• 解决自训练在半监督学习中因未标注数据上的噪声标签分配导致的不稳定性问题。
• 在统一的优化框架中整合常见的启发式方法，如置信度阈值和标签退火。
• 通过Sinkhorn迭代实现高效、可微的标签分配，便于集成到随机优化流程中。
• 通过灵活的上界约束引入类别比例的先验知识。
• 在低样本量半监督学习设置下提升泛化能力和鲁棒性。

提出的方法

• 将标签分配建模为凸的最优传输问题，以最小化总代价 $\sum_{ij} Q_{ij} C_{ij}(\theta) $，其中 $ C_{ij}(\theta) = -\log p_\theta(j|x_i) $。
• 使用Sinkhorn-Knopp算法，通过熵正则化高效近似求解最优传输问题。
• 引入缩放变量以施加类别比例的上界约束，实现对标签分布的控制。
• 通过逐步增加训练迭代过程中分配标签的总质量，实施标签退火策略。
• 将标签分配步骤整合到自训练循环中，使用传输解得到的软标签作为伪标签。
• 支持灵活的约束条件，包括类别平衡和上界约束，防止类别过度或不足表示。

实验结果

研究问题

• RQ1 最优传输能否为自训练中的标签分配提供一个原则性且高效的框架？
• RQ2 在低样本量半监督学习中，引入类别比例约束如何影响模型的泛化能力？
• RQ3 标签分配质量的退火过程能否提升训练的稳定性和准确性？
• RQ4 在相同设置下，SLA与SOTA方法（如FixMatch）相比表现如何？
• RQ5 约束误设和正则化参数对SLA性能有何影响？

主要发现

• 在仅每类4个标注样本的设置下，SLA在CIFAR-10上的平均测试准确率达到94.83%（±0.32%），优于FixMatch的90.10%（±3.00%）。
• 当每类有40个标注样本时，采用标签退火的SLA测试误差为5.17%，而未使用退火的误差为13.67%，表明逐步标签分配的重要性。
• 若移除类别比例约束，测试误差上升至9.71%（±5.95%），表明当约束设定合理时，此类约束能显著提升性能。
• Sinkhorn正则化参数 $\gamma = 100$ 在近似质量与计算成本之间实现了最佳平衡，在每类40个标签时，CIFAR-10上达到4.94%的误差。
• 该方法在统一的优化框架中有效模拟了标签退火和置信度阈值等启发式策略。
• 实证分析表明，不可行或误设的约束会导致模型参数和缩放变量出现混沌振荡，提示未来可探索自适应约束调优。