[论文解读] Sharp Asymptotics of Kernel Ridge Regression Beyond the Linear Regime

Hong Hu, Yue M. Lu|arXiv (Cornell University)|May 13, 2022

Neural Networks and Applications被引用 6

一句话总结

本文在样本量 $ n $ 与维度 $ d $ 满足 $ n acksimeq d^k $（$ k \geq 1 $ 为整数）的高维设定下，对核岭回归（KRR）进行了精确的渐近分析，揭示了由于在多项式学习区间中偏差-方差权衡的变化，KRR表现出非单调的‘双下降’泛化曲线。作者严格建立了高斯等价猜想，从而能够精确刻画在关键尺度阈值处测试误差的转变。

ABSTRACT

The generalization performance of kernel ridge regression (KRR) exhibits a multi-phased pattern that crucially depends on the scaling relationship between the sample size $n$ and the underlying dimension $d$. This phenomenon is due to the fact that KRR sequentially learns functions of increasing complexity as the sample size increases; when $d^{k-1}\ll n\ll d^{k}$, only polynomials with degree less than $k$ are learned. In this paper, we present sharp asymptotic characterization of the performance of KRR at the critical transition regions with $n \asymp d^k$, for $k\in\mathbb{Z}^{+}$. Our asymptotic characterization provides a precise picture of the whole learning process and clarifies the impact of various parameters (including the choice of the kernel function) on the generalization performance. In particular, we show that the learning curves of KRR can have a delicate "double descent" behavior due to specific bias-variance trade-offs at different polynomial scaling regimes.

研究动机与目标

• 理解核岭回归（KRR）在样本量满足 $ n \backsimeq d^k $ 的高维设定下的泛化性能，尤其是临界过渡点处的表现。
• 解析KRR的多阶段学习行为，即当 $ d^{k-1} \ll n \ll d^k $ 时，仅能学习到低于 $ k $ 次的多项式。
• 在 $ n \backsimeq d^k $ 的过渡区域，对测试误差与训练误差提供精确的渐近刻画，阐明核函数选择与正则化参数的作用。
• 严格验证先前基于非严格统计物理分析所提出的高维极限下KRR的高斯等价猜想。

提出的方法

• 通过球谐函数与超球多项式展开，将核函数与目标函数分解为多项式阶次递增的正交分量。
• 通过分析高维极限下核矩阵 $ \boldsymbol{K} $ 与输入设计矩阵 $ \boldsymbol{X} $ 的谱性质，推导出训练误差与测试误差的渐近表达式。
• 关键技术贡献是严格证明了高斯等价猜想，使得在渐近分析中可将随机核矩阵替换为高斯代理矩阵。
• 方法涉及将核函数与目标函数按度数 $ k $ 分块分解，并对每个子空间的采样比 $ \delta_k = n / N_k $ 进行渐近分析。
• 分析假设输入向量为独立同分布的各向同性分布，且教师模型由低阶多项式构成，从而可精确计算偏差与方差分量。
• 框架使用算子范数与Frobenius范数界来控制误差项，并在高维渐近下建立概率收敛性。

实验结果

研究问题

• RQ1 当 $ n \backsimeq d^k $ 时，KRR的泛化误差行为如何表现，而非在 $ d^{k-1} \ll n \ll d^k $ 的平稳阶段？
• RQ2 KRR学习曲线中非单调的双下降行为由何引起？其在多项式尺度区间中的偏差-方差权衡如何调控？
• RQ3 在高维设定下，KRR性能在多大程度上可由高斯等价模型捕捉？该猜想能否被严格证明？
• RQ4 核函数的选择与正则化参数 $ \lambda $ 如何影响在 $ n \backsimeq d^k $ 过渡点处测试误差的精确渐近行为？

主要发现

• 在 $ n \backsimeq d^k $ 处，KRR的测试误差表现出精细的双下降行为，初始上升后下降，其成因是多项式阶次间偏差-方差权衡的转移。
• 在 $ n \backsimeq d^k $ 处的渐近测试误差由核函数的谱性质与目标函数在度数 $ k $ 球谐子空间上的投影之间的相互作用精确刻画。
• 高斯等价猜想得到严格证明，表明KRR在高维下的行为可被高斯代理模型精确捕捉，从而验证了先前非严格统计物理方法的合理性。
• 学习过程具有层次性：KRR按顺序学习多项式复杂度递增的函数，当 $ d^{k-1} \ll n \ll d^k $ 时，仅能学习到低于 $ k $ 次的多项式。
• 测试误差的精确渐近公式显式依赖于核函数的度数 $ k $ 谱系数与采样比 $ \delta_k = n / N_k $，其中 $ N_k \sim d^k $。
• 研究结果表明，核函数的结构——特别是其在球谐函数展开中的形式——决定了泛化误差双下降曲线的形状与位置。