[论文解读] Rethinking Curriculum Learning with Incremental Labels and Adaptive Compensation

Madan Ravi Ganesh, Jason J. Corso|arXiv (Cornell University)|Jan 13, 2020

Machine Learning and Data Classification参考文献 46被引用 6

一句话总结

该论文提出LILAC，一种新颖的课程学习方法，通过逐步引入标签而非样本难度，包含两个阶段：(1) 逐步引入标签，即在固定批次中逐步揭示真实标签，同时对未见类别使用伪标签；(2) 自适应补偿，对先前分类错误的样本平滑其目标向量。LILAC在CIFAR-10、CIFAR-100和STL-10基准上优于批量学习以及现有的课程学习和标签平滑方法。

ABSTRACT

Like humans, deep networks have been shown to learn better when samples are organized and introduced in a meaningful order or curriculum. Conventional curriculum learning schemes introduce samples in their order of difficulty. This forces models to begin learning from a subset of the available data while adding the external overhead of evaluating the difficulty of samples. In this work, we propose Learning with Incremental Labels and Adaptive Compensation (LILAC), a two-phase method that incrementally increases the number of unique output labels rather than the difficulty of samples while consistently using the entire dataset throughout training. In the first phase, Incremental Label Introduction, we partition data into mutually exclusive subsets, one that contains a subset of the ground-truth labels and another that contains the remaining data attached to a pseudo-label. Throughout the training process, we recursively reveal unseen ground-truth labels in fixed increments until all the labels are known to the model. In the second phase, Adaptive Compensation, we optimize the loss function using altered target vectors of previously misclassified samples. The target vectors of such samples are modified to a smoother distribution to help models learn better. On evaluating across three standard image benchmarks, CIFAR-10, CIFAR-100, and STL-10, we show that LILAC outperforms all comparable baselines. Further, we detail the importance of pacing the introduction of new labels to a model as well as the impact of using a smooth target vector.

研究动机与目标

• 为解决传统课程学习方法基于样本难度引入样本并限制训练数据量的问题，本工作提出一种在整个训练过程中使用全部数据的方法。
• 通过将课程学习范式从样本难度重新思考为标签增量学习，以提升模型泛化能力。
• 通过引入基于先前模型预测的自适应补偿机制，平滑分类错误样本的目标向量，以增强表示学习。
• 证明标签增量引入与自适应补偿相结合，相较于批量学习、课程学习和标签平滑方法，能取得更优性能。

提出的方法

• 该方法包含两个阶段：逐步引入标签（IL）和自适应补偿（AC）。
• 在IL阶段，数据被划分为一组真实标签（GT）和一组剩余数据（带有伪标签ρ），后者被用作负样本。
• 真实标签以固定增量随时间逐步揭示，使模型能够一次学习一个类别，同时使用所有可用数据。
• 在AC阶段，使用网络的先前版本对训练样本进行分类；若样本被错误分类，则将其目标向量替换为更平滑的分布，以降低过自信度。
• 平滑通过参数化的目标向量实现，该向量为预测类别分配更高概率，并将概率分配给其他类别，超参数控制平滑程度。
• 该方法避免了外部难度评估，全程保持完整数据利用，减少计算开销并提升样本效率。

实验结果

研究问题

• RQ1 与基于样本难度相比，标签的渐进式引入是否能带来更好的模型性能？
• RQ2 通过为错误分类样本使用平滑目标向量进行自适应补偿，是否能提升泛化能力和表示质量？
• RQ3 标签引入的节奏如何影响模型收敛性和准确率？
• RQ4 将增量标签学习与自适应补偿相结合，相较于标准批量学习以及现有课程学习或标签平滑方法，其性能提升程度如何？

主要发现

• LILAC在CIFAR-10上实现了最先进性能，优于批量学习以及现有的课程学习和标签平滑方法。
• 在CIFAR-100上，LILAC达到73.57 ± 0.963的top-1准确率，显著优于批量学习基线。
• 仅IL阶段（无AC）已优于批量学习，表明增量标签学习可增强表示学习。
• 自适应补偿在仅IL基线基础上带来可测量的性能提升，LILAC在所有基准上最终准确率均超过该基线。
• 最优平滑参数ε = 0.5在CIFAR-10上取得最佳性能，top-1准确率为95.38 ± 0.135，而极端值（如ε = 0.2或0.7）会降低性能。
• 结果表明，在IL阶段每间隔引入少量新标签（如m = 1或2）优于较大增量，凸显节奏的重要性。