[论文解读] Universality Laws for High-Dimensional Learning with Random Features

Hong Hu, Yue M. Lu|arXiv (Cornell University)|Sep 16, 2020

Stochastic Gradient Optimization Techniques参考文献 43被引用 23

一句话总结

本文建立了高维随机特征模型的普遍性定律，证明其训练误差和泛化误差渐近等价于具有相同协方差的线性高斯模型。通过采用类似林德贝格（Lindeberg）的方法，结合留一法分析与处理弱依赖变量的 Stein 方法，该研究在广义非线性激活函数和损失函数下严格验证了高斯等价猜想。

ABSTRACT

We prove a universality theorem for learning with random features. Our result shows that, in terms of training and generalization errors, a random feature model with a nonlinear activation function is asymptotically equivalent to a surrogate linear Gaussian model with a matching covariance matrix. This settles a so-called Gaussian equivalence conjecture based on which several recent papers develop their results. Our method for proving the universality theorem builds on the classical Lindeberg approach. Major ingredients of the proof include a leave-one-out analysis for the optimization problem associated with the training process and a central limit theorem, obtained via Stein's method, for weakly correlated random variables.

研究动机与目标

• 建立具有非线性激活函数的随机特征模型在高维情形下的普遍性定理。
• 验证高斯等价猜想，即随机特征模型的行为可等价于具有相同协方差的线性高斯模型。
• 在输入维数与特征维数趋于无穷且比值固定的极限下，分析训练误差与泛化误差。
• 将理论分析从二次损失和正则化项扩展至一般非二次、非线性设置。
• 利用随机矩阵理论与 Stein 方法，为过参数化模型泛化行为提供严格的理论基础。

提出的方法

• 采用类似林德贝格的方法证明普遍性，以高斯近似替代随机特征分布的具体分布依赖。
• 利用留一法分析，控制最优权重向量对单个训练样本的敏感性，从而支持高维下的集中测度论证。
• 通过 Stein 方法应用中心极限定理，处理优化过程中产生的弱相关随机变量。
• 引入基于扰动的优化问题分析，以界定向量偏差及其对误差度量的影响。
• 通过矩条件与损失函数及正则化项导数的多项式增长控制，推导真实模型与高斯近似之间差异的界。
• 证明训练与泛化误差的渐近行为仅依赖于随机特征的协方差结构，而不依赖于激活函数的具体分布。

实验结果

研究问题

• RQ1 具有非线性激活函数的随机特征模型在高维下，其训练与泛化误差是否收敛于具有相同协方差矩阵的线性高斯模型？
• RQ2 随机特征模型的性能在多大程度上依赖于特征映射的具体分布，而不仅限于其协方差结构？
• RQ3 高斯等价猜想能否在一般损失函数与正则化函数下严格证明，而不仅限于二次情形？
• RQ4 训练数据与优化过程中的弱依赖性如何影响学习误差的渐近行为？
• RQ5 在高维极限下，损失函数与激活函数需满足何种充分条件，才能保证普遍性成立？

主要发现

• 具有非线性激活函数的随机特征模型的训练误差与泛化误差，收敛于与之协方差匹配的线性高斯模型的相同确定性极限。
• 普遍性结果在广义损失函数与正则化函数下成立，包括非二次与非光滑情形，前提是满足特定矩条件与增长条件。
• 通过类似林德贝格的论证建立渐近等价性，表明模型的分布行为仅依赖于特征的协方差，而不依赖于高阶矩。
• 留一法分析成功控制了最优权重向量对单个数据点的敏感性，从而在高维下支持集中不等式。
• 将 Stein 方法应用于弱相关变量，支持了中心极限定理，即使优化路径存在依赖性，仍能支撑普遍性结论。
• 随机特征模型与其高斯近似之间的误差差异以 $ O(\text{polylog}(p)/\text{poly}(p)) $ 的速率衰减，意味着当 $ p \to \infty $ 时以概率收敛。