[论文解读] Optimality of Training/Test Size and Resampling Effectiveness of Cross-Validation Estimators of the Generalization Error

Georgios Afendras, Marianthi Markatou|arXiv (Cornell University)|Nov 10, 2015

Statistical Methods and Inference参考文献 23被引用 12

一句话总结

该论文证明，对于一大类损失函数，k折交叉验证中最佳训练集大小恰好为总样本量的一半，可使泛化误差估计量的方差最小化。论文引入了重采样有效性作为度量指标，并通过方差最小化推导出最优划分规则，理论与实证分析均验证了其在分类任务中逻辑斯蒂回归的适用性。

ABSTRACT

An important question in constructing Cross Validation (CV) estimators of the generalization error is whether rules can be established that allow "optimal" selection of the size of the training set, for fixed sample size $n$. We define the {\it resampling effectiveness} of random CV estimators of the generalization error as the ratio of the limiting value of the variance of the CV estimator over the estimated from the data variance. The variance and the covariance of different average test set errors are independent of their indices, thus, the resampling effectiveness depends on the correlation and the number of repetitions used in the random CV estimator. We discuss statistical rules to define optimality and obtain the "optimal" training sample size as the solution of an appropriately formulated optimization problem. We show that in a broad class of loss functions the optimal training size equals half of the total sample size, independently of the data distribution. We optimally select the number of folds in $k$-fold cross validation and offer a computational procedure for obtaining the optimal splitting in the case of classification (via logistic regression). We substantiate our claims both, theoretically and empirically.

研究动机与目标

• 确定在固定总样本量下，使泛化误差估计量方差最小的交叉验证中最佳训练集大小。
• 正式定义并量化随机交叉验证中的重采样有效性，即极限方差与经验方差的比值。
• 建立并求解在总样本量固定条件下的最优训练/测试集大小选择的优化问题。
• 将结果推广至k折交叉验证，并为分类任务提供基于逻辑斯蒂回归的计算方法。
• 通过理论分析与经验模拟验证理论发现。

提出的方法

• 将重采样有效性定义为交叉验证估计量极限方差与数据中估计方差的比值。
• 利用预测误差的渐近正态性，推导各折与重复实验中预测误差的联合矩。
• 对预测误差向量应用多变量正态近似，其协方差结构依赖于训练集大小及各折之间的重叠程度。
• 将交叉验证估计量的方差表示为训练集大小 $ n_1 $ 的函数，利用数据点被包含在训练集中的指示函数的期望。
• 求解优化问题以最小化该方差，证明对于一大类损失函数，最小值出现在 $ n_1 = n/2 $ 处。
• 提出一种基于最小化估计方差的计算算法，用于分类任务中最优划分的选择。

实验结果

研究问题

• RQ1 在固定总样本量下，何种训练集大小可使交叉验证估计泛化误差估计量的方差最小？
• RQ2 如何在随机交叉验证中正式定义并量化重采样有效性？
• RQ3 最优训练集大小是否依赖于数据分布或损失函数？若依赖，其条件为何？
• RQ4 能否从方差最小化角度推导出k折交叉验证中的最优折数？
• RQ5 所提出方法在基于逻辑斯蒂回归的分类任务中表现如何？

主要发现

• 对于一大类损失函数，最优训练集大小恰好为 $ n/2 $，且与底层数据分布无关。
• 重采样有效性取决于测试集误差之间的相关性以及随机交叉验证中的重复次数，相关性越高，有效性越低。
• 通过渐近分布分析证明，当训练集大小为总样本量一半时，交叉验证估计量的方差达到最小。
• 最优折数可通过相同的方差最小化框架推导得出，并具有理论依据。
• 为基于逻辑斯蒂回归的分类任务提供了最优划分选择的计算程序，其基础是最小化估计方差。
• 理论结果通过经验模拟得到验证，确认在各种设置下 $ n_1 = n/2 $ 的最优性。