[论文解读] On The Power of Curriculum Learning in Training Deep Networks

Guy Hacohen, Daphna Weinshall|arXiv (Cornell University)|Apr 7, 2019

Advanced Neural Network Applications被引用 132

一句话总结

该论文分析 CNN 的课程学习（非均匀小批量采样），展示通过转移或引导分数的打分与节奏策略加速学习并提高最终准确性，同时提供课程如何改变优化景观但不改变全局最小值的理论视角。

ABSTRACT

Training neural networks is traditionally done by providing a sequence of random mini-batches sampled uniformly from the entire training data. In this work, we analyze the effect of curriculum learning, which involves the non-uniform sampling of mini-batches, on the training of deep networks, and specifically CNNs trained for image recognition. To employ curriculum learning, the training algorithm must resolve 2 problems: (i) sort the training examples by difficulty; (ii) compute a series of mini-batches that exhibit an increasing level of difficulty. We address challenge (i) using two methods: transfer learning from some competitive ``teacher" network, and bootstrapping. In our empirical evaluation, both methods show similar benefits in terms of increased learning speed and improved final performance on test data. We address challenge (ii) by investigating different pacing functions to guide the sampling. The empirical investigation includes a variety of network architectures, using images from CIFAR-10, CIFAR-100 and subsets of ImageNet. We conclude with a novel theoretical analysis of curriculum learning, where we show how it effectively modifies the optimization landscape. We then define the concept of an ideal curriculum, and show that under mild conditions it does not change the corresponding global minimum of the optimization function.

研究动机与目标

• 研究如何通过非均匀小批量采样的课程学习（CL）影响 CNN 的训练速度和泛化能力。
• 开发并比较用于对示例难度进行排序的打分函数（基于转移和引导/自学）。
• 探索不同的节奏函数以在训练过程中控制难度的暴露速度。
• 提供理论分析，说明 CL 如何重塑优化景观并与现有技术相关联。

提出的方法

• 将 CL 分解为打分（难度）和节奏（呈现速率）函数，并形式化它们在小批量选择中的作用。
• 实现两种打分方法：基于预训练网络的转移打分以及基于初始训练损失的引导/自学打分。
• 在多种数据集和架构下评估三种节奏方案：固定指数、变化指数和单步。
• 在超参数调优和交叉验证下复现实 Weinshall 等 2018，并扩展以确保可靠比较。
• 提供一个理论框架，展示课程如何在保持全局最小值的前提下改变目标函数景观。

实验结果

研究问题

• RQ1 CL 是否在不同数据集和架构上加速收敛并提高最终准确性？
• RQ2 基于转移的打分与引导/自学打分在 CL 中的有效性差异？
• RQ3 不同节奏函数对学习动力学和超参数调优的影响？
• RQ4 CL 如何修改优化景观，在什么条件下能保持全局最优解？
• RQ5 是否能在更大基准数据集（CIFAR-10/100、ImageNet 子集）使用常见架构观察到 CL 的收益？

主要发现

• 课程学习在多种数据集和架构上加速学习并获得比常规模型更高的最终测试准确性。
• 基于转移的打分函数优于随机或常规模型打分，说明有信息量的难度估计带来收益。
• 引导/自学打分在整个训练过程中提升测试准确性，而自定步调打分可能延迟学习。
• 不同的节奏函数给出相近的性能，但权力集中在早期训练阶段；变化指数节奏降低了对学习率再调的需求。
• 理论分析表明 CL 通过引入先验有效改变优化景观，在 mild 条件下不改变全局最小值。
• 经验梯度表明基于转移的 CL 将参数引导至与常规模型略有不同的局部最小值，同时在理想条件下保持全局最优。