[论文解读] Theoretical analysis of cross-validation for estimating the risk of the k-Nearest Neighbor classifier

Alain Célisse, Tristan Mary‐Huard|arXiv (Cornell University)|Aug 20, 2015

Machine Learning and Algorithms参考文献 42被引用 25

一句话总结

本文为k-最近邻（k-NN）分类器的风险估计提供了留$p$-out交叉验证（L$p$O）的理论保证。通过利用U-统计量理论和广义Efron-Stein不等式，推导出矩和指数集中不等式，建立了L$p$O估计器在$n$、$k$和$p$方面的相合性与收敛速度，同时量化了其与真实风险的差异。

ABSTRACT

The present work aims at deriving theoretical guaranties on the behavior of some cross-validation procedures applied to the $k$-nearest neighbors ($k$NN) rule in the context of binary classification. Here we focus on the leave-$p$-out cross-validation (L$p$O) used to assess the performance of the $k$NN classifier. Remarkably this L$p$O estimator can be efficiently computed in this context using closed-form formulas derived by \\cite{CelisseMaryHuard11}. We describe a general strategy to derive moment and exponential concentration inequalities for the L$p$O estimator applied to the $k$NN classifier. Such results are obtained first by exploiting the connection between the L$p$O estimator and U-statistics, and second by making an intensive use of the generalized Efron-Stein inequality applied to the L$1$O estimator. One other important contribution is made by deriving new quantifications of the discrepancy between the L$p$O estimator and the classification error/risk of the $k$NN classifier. The optimality of these bounds is discussed by means of several lower bounds as well as simulation experiments.

研究动机与目标

• 为k-最近邻分类器的留-$p$-out（L$p$O）交叉验证行为提供分布无关的理论保证。
• 推导应用于二元k-NN分类的L$p$O估计器的矩不等式和指数集中不等式。
• 量化L$p$O估计器与k-NN规则真实分类风险之间的差异。
• 分析L$p$O估计器相对于$n$、$k$和$p/n$的收敛速度。
• 通过下界和模拟实验建立所推导边界的最优性。

提出的方法

• 理论分析将L$p$O估计器与U-统计量联系起来，以利用已知的矩不等式。
• 将广义Efron-Stein不等式应用于留一个样本（L1O）情形，以推导集中不等式。
• 使用Rosenblatt型不等式，在k-NN分类下界定L$p$O估计器的矩。
• 采用Celisse和Mary-Huard（2011）推导出的k-NN中L$p$O的闭式表达式，以实现高效计算和理论分析。
• 通过概率界和渐近近似量化L$p$O与真实风险之间的差异。
• 通过下界和模拟实验验证理论结果，以评估边界紧密性和最优性。

实验结果

研究问题

• RQ1 对于适当的$p(n)$选择，L$p$O估计器是否能一致估计k-NN分类器的真实风险？
• RQ2 L$p$O估计器相对于$p/n$和$k$的收敛速度如何？
• RQ3 在有限样本条件下，L$p$O估计器的方差和偏差与真实风险相比如何？
• RQ4 是否能以高概率量化L$p$O估计器与真实风险之间的差异？
• RQ5 通过下界和模拟实验确认，所推导的集中不等式和矩不等式是否最优？

主要发现

• k-最近邻分类器的L$p$O估计器满足通过U-统计量和广义Efron-Stein不等式推导出的矩不等式和指数集中不等式。
• L$p$O估计器向真实风险收敛的速度得到量化，并表明其依赖于$n$、$k$和$p/n$。
• L$p$O估计器与真实分类风险之间的差异以高概率被有界，且通过下界证明这些边界具有最优性。
• 所推导的集中不等式具有紧致性，并通过模拟实验验证，确认了理论边界的准确性。
• 在适当选择$p(n)$（如$p = \lfloor n/V \rfloor$，其中$V \approx n/p$）下，L$p$O估计器被证明是k-NN风险的一致估计器。
• 理论框架证明了在k-NN中使用L$p$O优于$V$-折交叉验证，因其具有更低的方差和更强的理论保证。