[论文解读] The Shape of Learning Curves: a Review

Tom J. Viering, Marco Loog|arXiv (Cornell University)|Mar 19, 2021

Gaussian Processes and Bayesian Inference被引用 15

一句话总结

本综述对监督机器学习中的学习曲线形状进行了全面分析，探讨了表现良好的曲线（如幂律或指数衰减）以及表现不佳的曲线（如性能随数据增多而下降的非单调行为）。综述综合了理论与实证证据，指出了在单调性与曲线建模方面尚未解决的问题，并强调了深入研究曲线形状对于模型选择和元学习的重要性。

ABSTRACT

Learning curves provide insight into the dependence of a learner's generalization performance on the training set size. This important tool can be used for model selection, to predict the effect of more training data, and to reduce the computational complexity of model training and hyperparameter tuning. This review recounts the origins of the term, provides a formal definition of the learning curve, and briefly covers basics such as its estimation. Our main contribution is a comprehensive overview of the literature regarding the shape of learning curves. We discuss empirical and theoretical evidence that supports well-behaved curves that often have the shape of a power law or an exponential. We consider the learning curves of Gaussian processes, the complex shapes they can display, and the factors influencing them. We draw specific attention to examples of learning curves that are ill-behaved, showing worse learning performance with more training data. To wrap up, we point out various open problems that warrant deeper empirical and theoretical investigation. All in all, our review underscores that learning curves are surprisingly diverse and no universal model can be identified.

研究动机与目标

• 提供监督学习中学习曲线可能呈现形状的系统性概述，区分表现良好与表现不佳的情形。
• 考察支持常见曲线形状（如幂律和指数）的理论与实证证据，特别是在高斯过程回归中的应用。
• 研究非单调学习曲线的成因与影响，包括训练数据增多导致性能下降的情况。
• 识别理解学习曲线行为方面尚未解决的理论与实证挑战，尤其关注单调性与泛化问题。
• 探索学习曲线在模型选择、超参数调优及元学习应用中的潜力。

提出的方法

• 将学习曲线正式定义并估计为泛化性能与训练集规模的关系。
• 调查用于描述学习曲线形状的参数化模型（如幂律、指数模型）。
• 分析理论结果，特别是针对高斯过程回归，因其学习曲线具有解析可处理性。
• 比较训练曲线（优化过程中的性能）与泛化学习曲线，以澄清术语使用。
• 使用统计工具（如中位数、分位数及完整损失分布）以超越平均性能的方式更准确地刻画学习曲线行为。
• 将学习曲线与元学习框架整合，利用大规模数据集（如文献[107]中的数据集）研究曲线参数与行为模式。

实验结果

研究问题

• RQ1 在监督学习中，学习曲线通常呈现何种形状？哪些因素决定了其表现良好或表现不佳？
• RQ2 为何一些学习曲线表现出非单调行为（如数据增多导致性能下降）？这种现象在何种条件下发生？
• RQ3 对于非0-1损失函数，能否在理论上保证单调学习曲线的存在，特别是针对正确设定模型中的最大似然估计器？
• RQ4 在何种条件下，经验风险最小化（ERM）会产生单调学习曲线？
• RQ5 如何从少量数据点中稳健预测学习曲线参数，以实现高效的模型选择与超参数调优？

主要发现

• 学习曲线通常表现良好，遵循幂律或指数衰减模式，尤其在高斯过程回归中表现明显。
• 表现不佳的学习曲线（如数据增多导致性能下降）确实存在，且并非单纯人为误差，尽管其机理尚不明确。
• 不存在适用于所有情况的学习曲线形状通用模型；其多样性挑战了‘数据越多性能越优’的假设。
• 训练损失与泛化风险的差异可揭示过拟合现象，联合分析可能比单独使用任一指标表现出更规律的行为。
• 高概率界及替代统计量（如中位数、四分位数）可能比仅使用平均性能更能准确刻画学习曲线形状。
• 大规模学习曲线数据库为元学习应用提供了支持，并促进了对曲线参数预测与行为驱动因素的深入研究。