[论文解读] Overfitting or perfect fitting? Risk bounds for classification and regression rules that interpolate

Mikhail Belkin, Daniel Hsu+1 more|arXiv (Cornell University)|Jun 13, 2018

Adversarial Robustness in Machine Learning参考文献 2被引用 85

一句话总结

本文分析插值预测方案（如 simplicial interpolation 和 wiNN）并证明在分类和回归中的一致性或近一致性，推导非渐进和极小极大最优率，并将插值与对抗样本联系起来。

ABSTRACT

Many modern machine learning models are trained to achieve zero or near-zero training error in order to obtain near-optimal (but non-zero) test error. This phenomenon of strong generalization performance for "overfitted" / interpolated classifiers appears to be ubiquitous in high-dimensional data, having been observed in deep networks, kernel machines, boosting and random forests. Their performance is consistently robust even when the data contain large amounts of label noise. Very little theory is available to explain these observations. The vast majority of theoretical analyses of generalization allows for interpolation only when there is little or no label noise. This paper takes a step toward a theoretical foundation for interpolated classifiers by analyzing local interpolating schemes, including geometric simplicial interpolation algorithm and singularly weighted $k$-nearest neighbor schemes. Consistency or near-consistency is proved for these schemes in classification and regression problems. Moreover, the nearest neighbor schemes exhibit optimal rates under some standard statistical assumptions. Finally, this paper suggests a way to explain the phenomenon of adversarial examples, which are seemingly ubiquitous in modern machine learning, and also discusses some connections to kernel machines and random forests in the interpolated regime.

研究动机与目标

• 为在分类和回归中对训练数据进行插值的预测器提供理论基础并予以发展。
• 在标准光滑性和边界条件假设下，为局部插值方案建立一致性或近一致性。
• 推导非渐进风险界，并在边距条件下给出改进的收敛率，包括某些方案的 minimax 最优率。
• 提供关于插值在对抗样本中的作用以及与核方法和随机森林的联系的见解。

提出的方法

• 引入插值方案：(i) 基于多元三角剖分的 simplicial interpolation；(ii) 带有奇异径向权重的加权插值最近邻 (wiNN)。
• 通过局部性特性和插值行为直接界定超额风险来分析均方误差和分类风险。
• 证明在高维下，在光滑性与边距条件下，simplicial interpolation 可达到近 Bayes 风险；并给出 wiNN 的相应结果及明确速率。
• 推导非渐进收敛速率；在标准假设下给出 wiNN 的 minimax 最优速率；讨论维数如何影响速率（维数带来的福祉）。
• 建立在何种条件下插值会产生对抗样本并讨论在插值区间中的丰富程度。

实验结果

研究问题

• RQ1 在标准光滑性和边距假设下，插值分类器和回归器是否能达到一致性或近一致性？
• RQ2 对于 simplicial interpolation 和 wiNN 等插值方案，有限样本和渐进风险界是多少？
• RQ3 高维下插值方法的表现如何，在边距条件下是否能达到 minimax 最优或指数级小的超额风险？
• RQ4 插值、对抗样本与核方法及随机森林之间的关系是什么？
• RQ5 直接插值预测与逆插值方案在风险和一致性方面的比较如何？

主要发现

• Simplicial interpolation 产生一个分段线性、连续的预测器，在正则性条件下，随着维度增加，其风险趋近于 Bayes 风险。
• 在简单多胞体支持和 Delaunay 三角剖分下，回归误差界满足 limsup_n E[(hat_eta(X)−eta(X))^2] ≤ (2/(d+2)) E[(Y−eta(X))^2].
• 对于分类，基于 hat_eta 的插件分类器获得一个界，表明在高维下超额风险可以接近 Bayes 风险，在严格边距条件下风险界呈指数级改善（风险界随 exp(-c d) 下降）。
• 带有奇异权重的 wiNN 方案在标准正则性、边距和密度条件下，在回归中的极小极大收敛速率为 n^{-2α/(2α+d)}，在分类中的速率为 n^{-α/(2α+d)}。
• 分析表明，在标签噪声存在时，插值必然导致对抗样本：对抗基底集在渐进意义上是稠密的，尽管误分类的概率质量可能很小。