[论文解读] The Power of Preconditioning in Overparameterized Low-Rank Matrix Sensing

Xingyu Xu, Yandi Shen+2 more|arXiv (Cornell University)|Feb 2, 2023

Sparse and Compressive Sensing Techniques被引用 10

一句话总结

介绍 ScaledGD(λ)，一种用于过参数化低秩矩阵感知的预条件梯度下降方法，在小随机初始化下迅速收敛，对病态条件和噪声鲁棒。它实现近极小极大误差并且对条件数和维度仅多对数依赖。

ABSTRACT

We propose $ extsf{ScaledGD($λ$)}$, a preconditioned gradient descent method to tackle the low-rank matrix sensing problem when the true rank is unknown, and when the matrix is possibly ill-conditioned. Using overparametrized factor representations, $ extsf{ScaledGD($λ$)}$ starts from a small random initialization, and proceeds by gradient descent with a specific form of damped preconditioning to combat bad curvatures induced by overparameterization and ill-conditioning. At the expense of light computational overhead incurred by preconditioners, $ extsf{ScaledGD($λ$)}$ is remarkably robust to ill-conditioning compared to vanilla gradient descent ($ extsf{GD}$) even with overprameterization. Specifically, we show that, under the Gaussian design, $ extsf{ScaledGD($λ$)}$ converges to the true low-rank matrix at a constant linear rate after a small number of iterations that scales only logarithmically with respect to the condition number and the problem dimension. This significantly improves over the convergence rate of vanilla $ extsf{GD}$ which suffers from a polynomial dependency on the condition number. Our work provides evidence on the power of preconditioning in accelerating the convergence without hurting generalization in overparameterized learning.

研究动机与目标

• 在真实秩未知且矩阵可能条件数很差的情况下处理低秩矩阵感知。
• 开发在过参数化下仍然鲁棒的预条件非凸优化方法。
• 给出从随机初始化出发的全局收敛保证。
• 表征在测量噪声和近似低秩性下的性能。

提出的方法

• 引入 ScaledGD(λ)，一个带固定阻尼 λ 的预条件梯度下降：X_{t+1}=X_t - η ∇f(X_t)(X_t^T X_t + λ I)^{-1}，其中 f(X) = (1/4)||A(XX^T)-y||^2。
• 证明迭代对因子 X 的旋转具有等变性，确保 M_t = X_t X_t^T 对参数化不变。
• 假设感知算子 A 满秩-(r*+1) RIP，并且小随机初始化 X_0 = αG，其中 α 按假设 2 选择。
• 给出在过参数化区间 r ≥ r* 的随机初始化下的全局收敛保证，迭代复杂度对 κ（条件数）和 n 的规模为多对数级。
• 将分析扩展到精确参数化（r = r*）和带噪声的测量，建立达到 κ 因子的极小极大误差。
• 讨论在高斯设计下对近似低秩矩阵的扩展。

实验结果

研究问题

• RQ1 在秩过参数化（r ≥ r*）时，ScaledGD(λ) 能否从小的随机初始化实现全局收敛？
• RQ2 与原生梯度下降相比，预条件化如何影响收敛速度和对病态条件的鲁棒性？
• RQ3 在 RIP 和高斯设计下，迭代和样本复杂度是多少？
• RQ4 在存在测量噪声或近似低秩性时，ScaledGD(λ) 的表现如何？
• RQ5 保证是否扩展到精确参数化以及近似低秩情形？

主要发现

• ScaledGD(λ) 在一个小的对数阶段后以常数线性速度收敛到真实低秩矩阵，迭代次数为 O((log κ)(log κn) + log(1/ε))。
• 在高斯设计下，样本复杂度依赖于真实秩 r*，而不是过参数化的秩 r，只要 m ≳ n r*^2 poly(κ) 。
• 在噪声情形下，ScaledGD(λ) 达到极小极大最优误差，最多相差一个 κ 因子，最终误差在调节 ε 时与无噪声情形的速率相近。
• 精确参数化（r = r*）下从随机初始化收敛到 M*，相较于谱初始化结果有额外的对数开销。
• 该方法也扩展到在高斯设计下的近似低秩情形，维持对 M* 或其最佳秩-r近似 M_r 的接近最优的恢复。
• 该工作表明预条件化可以在不牺牲泛化能力的前提下加速在过参数化学习中的收敛。