[论文解读] Theory of Curriculum Learning, with Convex Loss Functions

Daphna Weinshall, Dan Amir|arXiv (Cornell University)|Dec 9, 2018

Machine Learning and Algorithms参考文献 12被引用 5

一句话总结

本文通过将理想难度得分定义为每个样本上最优假设的损失，提出了凸优化中课程学习的理论框架。证明了在线性回归和合页损失分类中，收敛速度随全局难度单调递减，随局部难度（相对于当前假设的损失）单调增加，通过形式化区分全局与局部难度得分，调和了课程学习与困难样本挖掘启发式方法之间的矛盾。

ABSTRACT

Curriculum Learning - the idea of teaching by gradually exposing the learner to examples in a meaningful order, from easy to hard, has been investigated in the context of machine learning long ago. Although methods based on this concept have been empirically shown to improve performance of several learning algorithms, no theoretical analysis has been provided even for simple cases. To address this shortfall, we start by formulating an ideal definition of difficulty score - the loss of the optimal hypothesis at a given datapoint. We analyze the possible contribution of curriculum learning based on this score in two convex problems - linear regression, and binary classification by hinge loss minimization. We show that in both cases, the expected convergence rate decreases monotonically with the ideal difficulty score, in accordance with earlier empirical results. We also prove that when the ideal difficulty score is fixed, the convergence rate is monotonically increasing with respect to the loss of the current hypothesis at each point. We discuss how these results bring to term two apparently contradicting heuristics: curriculum learning on the one hand, and hard data mining on the other.

研究动机与目标

• 为解决机器学习中课程学习缺乏理论分析的问题，特别是凸问题中的情况。
• 基于最优假设的损失，定义一个形式化且内在的示例难度度量。
• 分析基于难度采样的课程学习在在线性回归和合页损失分类中如何影响收敛速度。
• 通过区分全局与局部难度得分，调和课程学习（偏好简单样本）与困难样本挖掘（偏好困难样本）之间看似矛盾的实践效果。
• 为在实际课程调度中结合全局与局部难度得分提供理论依据。

提出的方法

• 提出理想难度得分（IDS）作为每个样本上最优假设损失的度量，作为全局难度的形式化指标。
• 基于IDS分析不同采样策略下随机梯度下降（SGD）的收敛速度。
• 使用小学习率近似（忽略O(η²)项）推导期望收敛速度变化的解析表达式。
• 将局部难度定义为当前假设在样本上的损失，并证明收敛速度随该值增加而提高。
• 通过几何与积分近似，推导并证明收敛速度与全局（IDS）及局部难度得分之间的单调关系。
• 提出一个课程调度框架，可由全局与局部难度得分的组合指导，以平衡学习效率。

实验结果

研究问题

• RQ1 当难度以最优假设损失衡量时，SGD的收敛速度如何依赖于样本的难度？
• RQ2 在如线性回归和合页损失分类等凸问题中，课程学习（偏好全局难度较低的样本）是否能加速收敛？
• RQ3 为何看似矛盾的方法如课程学习与困难样本挖掘在实践中均表现良好？
• RQ4 局部难度（相对于当前假设的损失）如何影响收敛速度，其与全局难度如何相互作用？
• RQ5 能否通过区分全局与局部难度，建立统一的理论框架来解释课程学习与困难样本挖掘成功的原因？

主要发现

• 在在线性回归和合页损失分类中，期望收敛速度随全局难度得分增加而单调递减（即，IDS越高，收敛越慢）。
• 当全局难度得分固定时，收敛速度随局部难度得分增加而单调递增（即，当前模型表现差的样本能更显著加速学习）。
• 理论分析证实，课程学习（偏好简单样本）可在凸问题中加速收敛，为其经验成功提供了理论基础。
• 课程学习与困难样本挖掘之间的表面矛盾，通过区分全局难度（每个样本固定）与局部难度（动态，基于当前模型）得以解决。
• 当全局与局部难度得分高度相关时（例如在噪声数据中），偏好低局部损失的方法（如自 paced learning）在理论上是合理的。
• 结果表明，有效的课程调度应结合全局与局部难度得分，以平衡早期学习的稳定性与后期收敛速度。