[论文解读] On the number of variables to use in principal component regression

Ji Xu, Daniel Hsu|arXiv (Cornell University)|Jun 4, 2019

Statistical Methods and Inference参考文献 16被引用 9

一句话总结

本文研究了在特征数 $ p $ 超过样本量 $ n $ 的高维设置下主成分回归（PCR）的表现，表明随着 $ p $ 增加，预测误差呈现出‘双下降’曲线。令人惊讶的是，当协方差矩阵的特征值衰减缓慢时，最小误差出现在插值区间（$ p > n $），这挑战了传统观点中认为 $ p > n $ 会导致过拟合的信念。

ABSTRACT

We study least squares linear regression over $N$ uncorrelated Gaussian features that are selected in order of decreasing variance. When the number of selected features $p$ is at most the sample size $n$, the estimator under consideration coincides with the principal component regression estimator; when $p>n$, the estimator is the least $\ell_2$ norm solution over the selected features. We give an average-case analysis of the out-of-sample prediction error as $p,n,N o \infty$ with $p/N o α$ and $n/N o β$, for some constants $α\in [0,1]$ and $β\in (0,1)$. In this average-case setting, the prediction error exhibits a "double descent" shape as a function of $p$. We also establish conditions under which the minimum risk is achieved in the interpolating ($p>n$) regime.

研究动机与目标

• 分析当所选主成分数 $ p $ 超过样本量 $ n $ 时主成分回归（PCR）的样本外预测误差。
• 通过在高维渐近框架下研究平均情况误差，挑战传统观点中认为 $ p > n $ 在 PCR 中会导致过拟合的信念。
• 刻画在插值区间（$ p > n $）而非欠定区间（$ p < n $）实现最小预测误差的条件。
• 建立 PCR 中存在‘双下降’风险曲线的理论依据，即随着 $ p $ 增大，误差先减小、再增大，随后再次减小。

提出的方法

• 作者采用平均情况分析，其中真实系数向量 $ \boldsymbol{\theta} $ 从各向同性先验中抽取，设计矩阵 $ \boldsymbol{X} $ 由 i.i.d. $ \mathcal{N}(0, \boldsymbol{\Sigma}) $ 特征构成，且已知其对角协方差矩阵 $ \boldsymbol{\Sigma} = \operatorname{diag}(\lambda_1, \dots, \lambda_N) $。
• 利用随机矩阵理论和经验特征值分布的 Stieltjes 变换，推导出当 $ N, n, p \to \infty $ 且满足 $ p/N \to \alpha \in [0,1] $ 与 $ n/N \to \beta \in (0,1) $ 时，PCR 的渐近预测误差。
• PCR 估计量定义为：当 $ p \leq n $ 时，$ \hat{\boldsymbol{\theta}}_P = (\boldsymbol{X}_P^\top \boldsymbol{X}_P)^{-1} \boldsymbol{X}_P^\top \boldsymbol{y} $；当 $ p > n $ 时，$ \hat{\boldsymbol{\theta}}_P = \boldsymbol{X}_P^\top (\boldsymbol{X}_P \boldsymbol{X}_P^\top)^{-1} \boldsymbol{y} $，且 $ \hat{\boldsymbol{\theta}}_{P^c} = \mathbf{0} $。
• 分析依赖于对涉及设计矩阵及其伪逆的二次型的极限行为进行刻画，使用如 Marchenko-Pastur 定律以及涉及 Stieltjes 变换的固定点方程等工具。
• 将预测误差分解为偏差与方差两部分，通过大数律和谱矩收敛性推导出渐近误差。
• 关键技术创新在于引入一个涉及 Stieltjes 变换 $ m_f(z) $ 和函数 $ q_f(s, \nu) $ 的函数方程，将渐近误差与特征值分布 $ f(t) $ 及正则化参数 $ s^* $ 联系起来。

实验结果

研究问题

• RQ1 当主成分数 $ p $ 超过样本量 $ n $ 时，PCR 的预测误差是否呈现出双下降曲线？
• RQ2 PCR 的最小预测误差是否可能出现在插值区间（$ p > n $）而非欠定区间（$ p < n $）？
• RQ3 PCR 中双下降现象发生的协方差矩阵特征值分布需满足何种条件？
• RQ4 在高维极限下，当 $ p/N \to \alpha $ 且 $ n/N \to \beta $ 时，PCR 的渐近预测误差如何表现？
• RQ5 特征值衰减速率在决定 $ p > n $ 是否导致低于 $ p < n $ 的误差方面起什么作用？

主要发现

• PCR 的预测误差随 $ p $ 增加呈现出‘双下降’形状，先减小，约在 $ p \approx n $ 处达到峰值，随后在 $ p > n $ 时再次下降。
• 当协方差矩阵的特征值衰减缓慢时，即谱测度 $ f(t) $ 满足特定正则性条件时，最小预测误差出现在插值区间（$ p > n $）。
• 在相同条件下，$ p > n $ 区域的渐近预测误差严格低于 $ p < n $ 区域可达到的最佳误差。
• 双下降行为源于高维极限下偏差与方差的抵消效应，其中最小 $ \ell_2 $-范数解在 $ p $ 个特征上实现的误差低于任何 $ p < n $ 的解。
• 极限预测误差依赖于特征值分布 $ f(t) $，最优 $ p $ 由涉及 Stieltjes 变换 $ m_f(z) $ 和函数 $ q_f(s, \nu) $ 的固定点方程决定。
• 本文证明，当且仅当方程 $ h_f(\nu) = 0 $ 在 $ f $ 的支撑集中有解，或等价地，当 $ \beta s^* < \delta \int_{\eta_1}^\infty t f(t) dt $ 时，最小风险在某处 $ p > n $ 处实现，其中 $ s^* $ 是方程 $ q_f(s^*) = 0 $ 的解。