[论文解读] When Do Curricula Work?

Xiaoxia Wu, Ethan Dyer+1 more|arXiv (Cornell University)|Dec 5, 2020

Machine Learning and Data Classification参考文献 64被引用 7

一句话总结

本文通过在多个数据集和训练模式下系统评估课程学习、反课程学习和随机课程学习的调度方式，研究了课程学习在何种情况下能提升模型训练效果。研究发现，尽管在标准的完整训练周期中显式课程学习并无优势，但在训练时间有限或标签存在噪声的情况下，其性能显著提升，表明课程学习的优势源于动态增加的数据集规模，而非样本排序本身。

ABSTRACT

Inspired by human learning, researchers have proposed ordering examples during training based on their difficulty. Both curriculum learning, exposing a network to easier examples early in training, and anti-curriculum learning, showing the most difficult examples first, have been suggested as improvements to the standard i.i.d. training. In this work, we set out to investigate the relative benefits of ordered learning. We first investigate the \emph{implicit curricula} resulting from architectural and optimization bias and find that samples are learned in a highly consistent order. Next, to quantify the benefit of \emph{explicit curricula}, we conduct extensive experiments over thousands of orderings spanning three kinds of learning: curriculum, anti-curriculum, and random-curriculum -- in which the size of the training dataset is dynamically increased over time, but the examples are randomly ordered. We find that for standard benchmark datasets, curricula have only marginal benefits, and that randomly ordered samples perform as well or better than curricula and anti-curricula, suggesting that any benefit is entirely due to the dynamic training set size. Inspired by common use cases of curriculum learning in practice, we investigate the role of limited training time budget and noisy data in the success of curriculum learning. Our experiments demonstrate that curriculum, but not anti-curriculum can indeed improve the performance either with limited training time budget or in existence of noisy data.

研究动机与目标

• 探究课程学习是否在不同数据集和设置下始终能提升模型训练效果。
• 确定是否存在一种稳定且一致的样本学习顺序——即所谓的‘隐式课程’——在不同架构和训练运行中保持一致。
• 在各种训练模式下，评估显式课程学习（课程、反课程、随机课程）与标准独立同分布（i.i.d.）训练的有效性。
• 理解在何种条件下课程学习能提供可测量的性能优势，尤其是在大规模或存在噪声的设置中。

提出的方法

• 作者在四个数据集（CIFAR-10、CIFAR-100、FOOD101 和 FOOD101N）上训练了超过 25,000 个模型，使用 ResNet-50 并调整不同的训练调度方式。
• 他们评估了三种训练顺序：课程学习（由易到难）、反课程学习（由难到易）和随机课程学习（随机顺序并伴随动态增加的数据集规模）。
• 他们使用多种难度评分函数和进度函数（例如线性、指数）来定义样本顺序和训练推进方式。
• 实验在三种训练模式下进行：标准完整周期训练、时间受限训练（减少迭代次数）以及标签噪声训练（存在标签污染）。
• 性能通过测试准确率衡量，并在每个设置下进行 3 至 72 次独立运行的统计比较，以确保结果稳健。
• 该研究分析了不同运行和架构下学习顺序的一致性，证实了隐式课程的存在。

实验结果

研究问题

• RQ1 在不同训练运行、架构和任务中，样本是否遵循一致的学习顺序——即是否存在隐式课程？
• RQ2 在标准完整周期训练设置下，与标准 i.i.d. 训练相比，显式课程学习是否能提升泛化能力或收敛速度？
• RQ3 当训练时间受限或标签存在噪声时，课程学习是否能提供性能优势？
• RQ4 课程学习的优势是源于样本排序，还是源于训练集规模的动态增加？
• RQ5 不同的进度函数和难度评分方法如何影响课程学习的有效性？

主要发现

• 隐式课程存在：在不同运行、架构和训练方法中，样本的学习顺序高度一致，表明样本难度存在稳定的概念。
• 在标准完整周期训练中，课程学习、反课程学习和随机课程学习与标准 i.i.d. 训练表现几乎完全相同，表明显式排序无显著优势。
• 在时间预算有限的情况下，课程学习显著优于 i.i.d.、反课程学习和随机课程学习，表明在时间受限条件下具有明显优势。
• 在存在标签噪声的情况下，课程学习相比其他方法（包括标准 i.i.d. 训练）提供了稳健的性能提升。
• 在时间受限和噪声环境下，课程学习带来的性能增益主要源于训练集规模的动态增加，而非样本的具体排序。
• 结果在不同数据集上具有泛化性：CIFAR 和更大规模的 FOOD101/FOOD101N 数据集上均呈现相同模式。