[论文解读] Testing for Overfitting

James Schmidt|arXiv (Cornell University)|May 9, 2023

Machine Learning and Algorithms被引用 4

一句话总结

本文提出了一种基于训练数据的统计假设检验方法，利用集中不等式比较模型在训练数据与验证数据上的经验性能，以检测机器学习模型中的过拟合现象。该方法仅依赖训练数据即可实现对过拟合的定量检测，无需依赖验证集进行泛化性评估，为启发式早停法提供了严格的统计替代方案。

ABSTRACT

High complexity models are notorious in machine learning for overfitting, a phenomenon in which models well represent data but fail to generalize an underlying data generating process. A typical procedure for circumventing overfitting computes empirical risk on a holdout set and halts once (or flags that/when) it begins to increase. Such practice often helps in outputting a well-generalizing model, but justification for why it works is primarily heuristic. We discuss the overfitting problem and explain why standard asymptotic and concentration results do not hold for evaluation with training data. We then proceed to introduce and argue for a hypothesis test by means of which both model performance may be evaluated using training data, and overfitting quantitatively defined and detected. We rely on said concentration bounds which guarantee that empirical means should, with high probability, approximate their true mean to conclude that they should approximate each other. We stipulate conditions under which this test is valid, describe how the test may be used for identifying overfitting, articulate a further nuance according to which distributional shift may be flagged, and highlight an alternative notion of learning which usefully captures generalization in the absence of uniform PAC guarantees.

研究动机与目标

• 为解决目前缺乏对使用验证集检测过拟合的严格统计依据的问题。
• 开发一种仅使用训练数据即可定量定义并检测过拟合的方法，避免在泛化性评估中依赖验证集。
• 提供一种即使在统一PAC可学习性保证不成立时依然有效的检验方法，使在更弱假设下实现泛化性评估成为可能。
• 通过将过拟合概念建立在统计假设检验基础上，而非依赖早停等启发式方法，从而澄清过拟合的定义。
• 引入$\pi$-可学习性作为PAC可学习性的较弱但仍有用的替代概念，以适用于实际模型评估。

提出的方法

• 该方法使用Hoeffding不等式来界定成本函数的经验均值偏离其真实期望的概率。
• 通过集中不等式构建一个统计假设检验，比较模型在训练数据和验证数据上的经验风险，以判断观察到的差异是否具有统计显著性。
• 该检验基于以下原理：若模型未过拟合，则经验均值应以高概率彼此接近。
• 该流程定义了精度阈值$\varepsilon$和置信水平$\delta$，并利用Hoeffding不等式计算实现可靠检测所需的样本量。
• 该检验在训练的各个周期中应用，以检测当训练数据上的性能开始与验证性能显著偏离时，即标志出现过拟合。
• 该方法允许在不依赖假设类为PAC可学习的前提下检测过拟合，转而依赖于分布特定的可学习性（$\pi$-可学习性）。

Figure 1 : Slicing the Cost Function $c:\mathcal{H}\times(\mathcal{X}\times\mathcal{Y})^{\omega}\rightarrow\mathbb{R}$

实验结果

研究问题

• RQ1 是否可以仅使用训练数据检测过拟合，而无需依赖验证集？
• RQ2 在缺乏统一PAC保证的情况下，何种统计框架可严格定义并检测过拟合？
• RQ3 如何利用集中不等式在训练数据上构建有效的过拟合假设检验？
• RQ4 所提出的检验在哪些方面优于启发式方法（如早停）？
• RQ5 当PAC可学习性不成立时，分布特定可学习性（$\pi$-可学习性）在实现泛化性评估中起到何种作用？

主要发现

• 所提出的假设检验通过集中界比较训练数据与验证数据上的经验风险，成功检测到过拟合，且在指定条件下具有统计有效性。
• 该方法无需假设类为PAC可学习，因此可更广泛地应用于现实世界的学习问题。
• 在合成数据和MNIST上的模拟结果表明，即使未使用早停，该检验也能在训练性能开始与验证性能偏离时识别出过拟合。
• 当模型在过拟合后于后续周期恢复泛化性能时，该检验仍保持有效性，表明其对动态过拟合模式具有敏感性。
• 使用Hoeffding不等式可通过置信水平$\delta$和精度$\varepsilon$精确控制第一类错误率，样本量$m$决定了界值的紧致程度。
• 该框架引入了$\pi$-可学习性作为PAC可学习性的有意义替代，使得在更弱的、分布特定的假设下仍能提供泛化性保证。

Figure 2 : Sequences of models $\hat{y}_{\mathsf{S_{1}}},\hat{y}_{\mathsf{S_{2}}},\ldots,\hat{y}_{\mathsf{S_{m}}},\ldots$