[论文解读] There Are Many Consistent Explanations of Unlabeled Data: Why You Should Average

Ben Athiwaratkun, Marc Finzi+2 more|arXiv (Cornell University)|Jun 14, 2018

Machine Learning and Data Classification被引用 149

一句话总结

该论文分析基于一致性的半监督学习，并表明 SGD 能探索多种解；通过 SWA 和 fast-SWA 对权重进行平均可提升泛化，在有限标签下在 CIFAR-10/100 取得了最先进的结果。

ABSTRACT

Presently the most successful approaches to semi-supervised learning are based on consistency regularization, whereby a model is trained to be robust to small perturbations of its inputs and parameters. To understand consistency regularization, we conceptually explore how loss geometry interacts with training procedures. The consistency loss dramatically improves generalization performance over supervised-only training; however, we show that SGD struggles to converge on the consistency loss and continues to make large steps that lead to changes in predictions on the test data. Motivated by these observations, we propose to train consistency-based methods with Stochastic Weight Averaging (SWA), a recent approach which averages weights along the trajectory of SGD with a modified learning rate schedule. We also propose fast-SWA, which further accelerates convergence by averaging multiple points within each cycle of a cyclical learning rate schedule. With weight averaging, we achieve the best known semi-supervised results on CIFAR-10 and CIFAR-100, over many different quantities of labeled training data. For example, we achieve 5.0% error on CIFAR-10 with only 4000 labels, compared to the previous best result in the literature of 6.3%.

研究动机与目标

• 理解损失几何结构和训练过程如何影响基于一致性的半监督模型。
• 研究为何在一致性损失下 SGD 难以收敛，以及权重平均如何使解更加稳定。
• 提出并评估随机权重平均 (SWA) 与 fast-SWA 以提升泛化。
• 证明在有限标记数据下，在 CIFAR-10/100 上获得改进的最先进结果。
• 为将权重平均应用于基于一致性的方法提供实用指南。

提出的方法

• 分析一个简化的 Pi 模型，以展示对输入雅可比矩阵和 Hessian 特征值的隐式正则化。
• 实证比较 Pi、Mean Teacher 与有监督模型的训练轨迹，以显示更大的 SGD 步长和更丰富的解。
• 证明在 SGD 迭代中对权重（和预测）进行平均可提升泛化。
• 引入随机权重平均 (SWA) 与 fast-SWA，使用循环学习率和每个周期的多点平均。
• 将 SWA/fast-SWA 应用于 CIFAR-10/100 的 Pi 和 Mean Teacher，在不同标记/未标记数据条件下报告改进。

实验结果

研究问题

• RQ1 一致性损失如何影响损失地形的几何形状以及模型的泛化？
• RQ2 基于一致性的方法下，SGD 轨迹为何保持多样以及对测试预测的影响？
• RQ3 在半监督模型中，对 SGD 迭代进行权重平均（SWA/fast-SWA）是否能超过单次 SGD 解和标准集成？
• RQ4 将 Pi 和 Mean Teacher 与 SWA/fast-SWA 结合时，是否在有限标签下在 CIFAR-10/100 获得新的最先进结果？
• RQ5 额外未标记数据（如 Tiny Images）如何影响使用 SWA/fast-SWA 的性能？

主要发现

• 一个简化的 Pi 模型在隐式正则化输入输出雅可比范数和 Hessian 特征值方面，促使解趋于更平坦。
• 基于一致性的模型（Pi 与 MT）表现出比有监督模型更大的权重空间轨迹和更高的预测多样性。
• 对 SGD 迭代进行权重平均（SWA）或对预测进行平均显著提升泛化，对 Pi/MT 的增益大于对有监督训练。
• 应用 SWA 与更快的变体（fast-SWA）显著加快收敛，在 CIFAR-10/100 上取得顶级半监督结果，例如在 CIFAR-10 的 4k 标签时误差为 5.0%。
• Fast-SWA 比 SWA 收敛更快，在许多设置中以更少的周期达到同等或更好性能。
• Fast-SWA 也将相关领域自适应任务（CIFAR-10 到 STL）的误差从 19.9% 降至 16.8%。