[论文解读] Self-Adaptive Training: Bridging Supervised and Self-Supervised Learning

Lang Huang, Chao Zhang+1 more|arXiv (Cornell University)|Jan 21, 2021

Machine Learning and Data Classification参考文献 83被引用 6

一句话总结

本论文提出自适应训练（self-adaptive training），这是一种统一的深度学习框架，通过利用模型预测作为自适应监督信号，在不增加额外计算成本的前提下，动态提升模型训练效果。该方法在标签噪声环境下提升了泛化能力，并增强了自监督表示学习，在CIFAR、STL和ImageNet数据集的噪声分类、选择性分类及线性评估任务中均取得了当前最优性能。

ABSTRACT

We propose self-adaptive training -- a unified training algorithm that dynamically calibrates and enhances training processes by model predictions without incurring an extra computational cost -- to advance both supervised and self-supervised learning of deep neural networks. We analyze the training dynamics of deep networks on training data that are corrupted by, e.g., random noise and adversarial examples. Our analysis shows that model predictions are able to magnify useful underlying information in data and this phenomenon occurs broadly even in the absence of any label information, highlighting that model predictions could substantially benefit the training processes: self-adaptive training improves the generalization of deep networks under noise and enhances the self-supervised representation learning. The analysis also sheds light on understanding deep learning, e.g., a potential explanation of the recently-discovered double-descent phenomenon in empirical risk minimization and the collapsing issue of the state-of-the-art self-supervised learning algorithms. Experiments on the CIFAR, STL, and ImageNet datasets verify the effectiveness of our approach in three applications: classification with label noise, selective classification, and linear evaluation. To facilitate future research, the code has been made publicly available at https://github.com/LayneH/self-adaptive-training.

研究动机与目标

• 解决在数据损坏（如标签噪声和对抗样本）条件下深度神经网络泛化能力差的挑战。
• 探究模型预测是否可作为通用信号，以改善监督与自监督学习中的训练动态。
• 开发一种统一的训练算法，通过动态整合预测结果到优化过程中，弥合监督学习与自监督学习的鸿沟。
• 克服现有方法依赖多视图增强或迭代自训练所带来的高计算成本的局限性。
• 提供一种理论基础扎实、计算高效的替代方案，以应对现有鲁棒学习与自监督学习方法的不足。

提出的方法

• 提出一种自适应训练算法，利用模型预测的指数移动平均生成软标签用于训练。
• 基于预测置信度动态重加权样本，以降低噪声或错误预测在优化过程中的影响。
• 在监督与自监督设置中均应用该方法，当缺乏真实标签时，将模型预测视为伪标签。
• 保持与标准网络架构和损失函数（如交叉熵）的兼容性，无需架构修改。
• 每轮训练仅需一次前向传播，确保除标准训练外无额外计算开销。
• 通过统一处理基于预测的监督信号，使该方法在标签噪声与自监督场景下均能有效运行。

(a) Accuracy curves of the model trained by ERM.

实验结果

研究问题

• RQ1 当标签被污染或缺失时，模型预测是否仍能放大数据中潜在的有用信息？
• RQ2 在标签噪声条件下，将模型预测纳入训练是否能改善深度网络的泛化性能？
• RQ3 统一的训练算法能否有效弥合监督学习与自监督学习范式之间的差距？
• RQ4 在性能与效率方面，自适应训练相较于现有鲁棒学习与自监督学习方法表现如何？
• RQ5 自适应训练是否能缓解自监督学习中观察到的双下降现象与特征坍塌问题？

主要发现

• 与标准经验风险最小化（ERM）训练相比，自适应训练在CIFAR-10数据集上标签噪声达40%时，验证准确率提升超过10%。
• 该方法实现了单下降的误差-容量曲线，与标准ERM中观察到的双下降行为形成对比，表明其具有更优的泛化动态特性。
• 在ImageNet上的线性评估协议中，自适应训练显著提升了自监督表示学习的性能。
• 该方法在选择性分类与噪声标签学习任务中优于现有方法，展现出对多种数据损坏类型的鲁棒性。
• 实验表明，仅依靠模型预测（无需任何真实标签）即可引导有效学习，验证了预测信息蒸馏的核心假设。
• 该方法不增加额外计算成本，且与标准训练流程完全兼容，具备广泛的应用潜力。

(b) Accuracy curves of the model trained by our method.