[论文解读] Regularization in High-Dimensional Regression and Classification via Random Matrix Theory

Panagiotis Lolas|arXiv (Cornell University)|Mar 30, 2020

Random Matrices and Applications参考文献 36被引用 10

一句话总结

该论文运用随机矩阵理论，为高维回归与分类中的正则化建立了渐近理论，推导出岭回归的训练误差与测试误差的精确公式，并提出了线性判别分析中最佳特征值收缩方法。研究证明，使用贝叶斯最优正则化参数的岭回归在所有奇异值收缩估计量中达到极小极大（minimax）性能。

ABSTRACT

We study general singular value shrinkage estimators in high-dimensional regression and classification, when the number of features and the sample size both grow proportionally to infinity. We allow models with general covariance matrices that include a large class of data generating distributions. As far as the implications of our results are concerned, we find exact asymptotic formulas for both the training and test errors in regression models fitted by gradient descent, which provides theoretical insights for early stopping as a regularization method. In addition, we propose a numerical method based on the empirical spectra of covariance matrices for the optimal eigenvalue shrinkage classifier in linear discriminant analysis. Finally, we derive optimal estimators for the dense mean vectors of high-dimensional distributions. Throughout our analysis we rely on recent advances in random matrix theory and develop further results of independent mathematical interest.

研究动机与目标

• 开发一个基于随机矩阵理论的通用框架，用于分析高维回归与分类中的正则化问题。
• 将现有关于岭回归与判别分析的研究结果推广至具有任意协方差结构的一般奇异值收缩估计量。
• 为岭回归的训练误差与测试误差提供精确的渐近公式，为梯度下降中的早停策略提供理论依据。
• 提出一种基于经验协方差谱的数值高效方法，用于线性判别分析中的最优特征值收缩。
• 在高维渐近框架下，推导出稠密均值向量的最优估计量，并提供理论保证。

提出的方法

• 采用高维渐近框架，其中特征维度 $p$ 与样本量 $n$ 按比例增长，满足 $p/n \to \gamma > 0$。
• 应用随机矩阵理论的最新进展，分析样本协方差矩阵及其泛函的极限谱分布。
• 通过求解涉及Stieltjes变换的方程组，推导出岭回归中训练误差与测试误差的精确渐近表达式。
• 通过在经验特征值上求解约束优化问题，提出一种数值方法以计算线性判别分析中最优收缩函数。
• 利用测度集中性与谱范数界，建立涉及估计参数的二次型的几乎必然收敛性。
• 运用Marčenko–Pastur定律及其推广，刻画样本协方差矩阵 $\hat{\Sigma}$ 的极限谱分布。

实验结果

研究问题

• RQ1 在高维回归中，一般奇异值收缩估计量的训练误差与测试误差的精确渐近公式是什么？
• RQ2 在高维设置下，基于梯度下降的优化中的早停策略如何与正则化相关联？
• RQ3 在一般协方差结构下，线性判别分析的最优特征值收缩函数是什么？
• RQ4 是否存在某种奇异值收缩方法，能够优于使用贝叶斯最优正则化参数的岭回归？
• RQ5 在协方差估计存在噪声的情况下，高维线性判别分析的分类误差的极限行为如何？

主要发现

• 论文推导出岭回归中训练误差与测试误差的精确渐近公式，表明梯度下降中的早停对应于一种有效的正则化路径。
• 证明了在所有奇异值收缩估计量中，不存在任何方法能优于使用贝叶斯最优正则化参数的岭回归，从而确立了岭回归在该类估计量中的极小极大性能。
• 线性判别分析的最优特征值收缩函数被确定为在经验谱分布上求解约束优化问题的解。
• 高维LDA的极限分类误差以几乎必然收敛于一个涉及Stieltjes变换与极限谱测度 $H$ 的表达式。
• 渐近分析表明，误分类率取决于信号强度 $\alpha^2$、维度比 $\gamma$ 以及协方差矩阵 $\Sigma$ 的谱分布之间的相互作用。
• 计算最优收缩系数的方法在数值上是可行的，基于样本协方差矩阵的经验特征值，可实现实际应用。