[论文解读] Spectral Universality of Regularized Linear Regression with Nearly Deterministic Sensing Matrices

Rishabh Dudeja, Subhabrata Sen+1 more|arXiv (Cornell University)|Aug 4, 2022

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文针对几乎确定性的感知矩阵，建立了正则化线性回归的谱 universality，证明了在具有相同谱和通用奇异向量的一类矩阵中，性能与近端梯度动力学在渐近意义上完全相同。关键贡献在于定义了一个由确定性谱和向量条件构成的形式 universality 类，使得可通过旋转不变系综作为结构化、相关或确定性矩阵的替代，实现可处理的分析。

ABSTRACT

It has been observed that the performances of many high-dimensional estimation problems are universal with respect to underlying sensing (or design) matrices. Specifically, matrices with markedly different constructions seem to achieve identical performance if they share the same spectral distribution and have ``generic'' singular vectors. We prove this universality phenomenon for the case of convex regularized least squares (RLS) estimators under a linear regression model with additive Gaussian noise. Our main contributions are two-fold: (1) We introduce a notion of universality classes for sensing matrices, defined through a set of deterministic conditions that fix the spectrum of the sensing matrix and precisely capture the previously heuristic notion of generic singular vectors; (2) We show that for all sensing matrices that lie in the same universality class, the dynamics of the proximal gradient descent algorithm for solving the regression problem, as well as the performance of RLS estimators themselves (under additional strong convexity conditions) are asymptotically identical. In addition to including i.i.d. Gaussian and rotational invariant matrices as special cases, our universality class also contains highly structured, strongly correlated, or even (nearly) deterministic matrices. Examples of the latter include randomly signed versions of incoherent tight frames and randomly subsampled Hadamard transforms. As a consequence of this universality principle, the asymptotic performance of regularized linear regression on many structured matrices constructed with limited randomness can be characterized by using the rotationally invariant ensemble as an equivalent yet mathematically more tractable surrogate.

研究动机与目标

• 建立高维线性回归中正则化最小二乘（RLS）估计器的严格 universality 原理。
• 定义一个广义的感知矩阵类——超越 i.i.d. 或旋转不变矩阵——在共享谱和向量条件时，性能渐近相同。
• 证明结构化、相关或近乎确定性的矩阵（如符号无关紧框架、子采样 Hadamard 矩阵）与旋转不变矩阵属于同一 universality 类。
• 通过使用旋转不变系综作为数学上可处理的替代，实现对复杂、低随机性感知设计的渐近性能表征。
• 在强凸性条件下，证明近端梯度下降动力学与 RLS 估计器性能的 universality，采用 VAMP 和 GFOM 框架。

提出的方法

• 引入一个由感知矩阵谱和奇异向量的确定性条件定义的 universality 类，确保通用性与谱稳定性。
• 使用向量近似消息传递（VAMP）和广义一阶方法（GFOM）在高维渐近下分析算法动力学。
• 采用多项式逼近和矩基浓度分析，证明 MVAMP（多变量 VAMP）动力学的 universality。
• 应用矩方法并分解为简单构型，建立迭代值多项式函数期望的 universality。
• 使用正交化和白化技术简化高维向量动力学，确保收敛至通用极限。
• 利用函数的连续性与多项式有界性，构造保持渐近行为的逼近序列。

实验结果

研究问题

• RQ1 若感知矩阵具有不同构造方式，但共享相同谱和通用奇异向量，是否可对正则化线性回归的性能进行统一表征？
• RQ2 RLS 估计器的近端梯度下降动力学在不同感知矩阵系综中是否表现出相同的渐近行为？
• RQ3 如随机符号化的无关紧框架或子采样 Hadamard 变换等结构化、近乎确定性的矩阵，是否可在渐近性能上等价于旋转不变矩阵？
• RQ4 是否存在一个形式化的 universality 类，涵盖 i.i.d. 和确定性构造的感知矩阵，且其 RLS 估计器与算法动力学完全相同？
• RQ5 能否使用旋转不变系综作为替代，准确预测复杂、低随机性感知设计上 RLS 的渐近性能？

主要发现

• 在由固定谱和通用奇异向量定义的同一 universality 类中，RLS 估计器性能与近端梯度下降动力学的渐近表现完全一致。
• 该 universality 类包含 i.i.d. 高斯矩阵、旋转不变矩阵，以及高度结构化的矩阵，如随机符号化的无关紧框架和子采样 Hadamard 变换。
• 即使具有强相关性或低随机性的近乎确定性矩阵，只要满足 universality 类的谱与向量条件，仍表现出 universality 行为。
• 由于谱 universality，可通过旋转不变系综作为替代，准确预测复杂结构化矩阵上正则化回归的性能。
• 在相同条件下，VAMP 与 GFOM 框架均表现出 universality，其动力学在 universality 类中收敛至相同极限。
• 多项式逼近与矩基浓度技术成功建立了 universality，通过证明高维向量迭代收敛至通用极限。