[论文解读] On the Convergence of Projected-Gradient Methods with Low-Rank Projections for Smooth Convex Minimization over Trace-Norm Balls and Related Problems

Dan Garber|arXiv (Cornell University)|Feb 5, 2019

Sparse and Compressive Sensing Techniques参考文献 31被引用 6

一句话总结

本论文为在迹范数球上的光滑凸优化中使用低秩奇异值分解（SVD）的投影梯度方法建立了可证明的收敛性。若SVD近似秩等于或略高于最优解处梯度最大奇异值的重数，则从热启动开始可保证收敛，且收敛区域半径与谱间隙成比例。

ABSTRACT

Smooth convex minimization over the unit trace-norm ball is an important optimization problem in machine learning, signal processing, statistics and other fields, that underlies many tasks in which one wishes to recover a low-rank matrix given certain measurements. While first-order methods for convex optimization enjoy optimal convergence rates, they require in worst-case to compute a full-rank SVD on each iteration, in order to compute the projection onto the trace-norm ball. These full-rank SVD computations however prohibit the application of such methods to large problems. A simple and natural heuristic to reduce the computational cost is to approximate the projection using only a low-rank SVD. This raises the question if, and under what conditions, this simple heuristic can indeed result in provable convergence to the optimal solution. In this paper we show that any optimal solution is a center of a Euclid. ball inside-which the projected-gradient mapping admits rank that is at most the multiplicity of the largest singular value of the gradient vector. Moreover, the radius of the ball scales with the spectral gap of this gradient vector. We show how this readily implies the local convergence (i.e., from a "warm-start" initialization) of standard first-order methods, using only low-rank SVD computations. We also quantify the effect of "over-parameterization", i.e., using SVD computations with higher rank, on the radius of this ball, showing it can increase dramatically with moderately larger rank. We extend our results also to the setting of optimization with trace-norm regularization and optimization over bounded-trace positive semidefinite matrices. Our theoretical investigation is supported by concrete empirical evidence that demonstrates the extit{correct} convergence of first-order methods with low-rank projections on real-world datasets.

研究动机与目标

• 解决在迹范数约束的凸优化中，投影梯度方法使用低秩SVD近似是否能保持收敛保证的问题。
• 确定在不牺牲收敛至最优解的前提下，何时可将满秩SVD替换为低秩SVD。
• 量化过参数化（使用略高秩的SVD）对局部收敛区域大小的影响。
• 将理论结果扩展至迹范数正则化问题和有迹约束的半正定优化问题。
• 在真实世界矩阵补全数据集上提供实证验证，表明使用最小秩SVD时仍能实现正确收敛。

提出的方法

• 对最优解附近的投影梯度映射进行理论分析，表明映射在以最优解为中心的欧氏球内保持低秩结构。
• 基于最优点处梯度矩阵最大奇异值的重数，推导出局部收敛条件。
• 引入一个收敛半径，其大小与最优解处梯度矩阵最大奇异值与第二大奇异值之间的谱间隙成比例。
• 使用秩为 $ r $ 的截断SVD近似满秩投影，将计算成本从 $ O(mn^2) $ 降低至 $ O(rmn) $。
• 在实际中使用Krylov子空间方法（如幂迭代法、Lanczos方法）高效计算低秩SVD。
• 利用MovieLens数据集上的矩阵补全任务进行实证验证，比较在相同初始化和收敛准则下，基于满秩与低秩SVD的方法。

实验结果

研究问题

• RQ1 在投影梯度步骤中使用低秩SVD近似时，满足何种条件可保证收敛至最优解？
• RQ2 最优解处梯度矩阵最大奇异值的重数与SVD近似所需秩之间有何关系？
• RQ3 当SVD秩超过最优解秩（即过参数化）时，如何影响局部收敛区域的大小？
• RQ4 在热启动初始化下，仅使用低秩SVD时，PGD和FISTA等一阶方法是否仍能正确收敛？
• RQ5 真实世界矩阵补全数据集上的实证结果在多大程度上支持理论收敛保证？

主要发现

• 最优解的秩等于最优解处梯度最大奇异值的重数，即 $ \textrm{rank}({\mathbf{X}}^{*}) = \#\sigma_1(\nabla f({\mathbf{X}}^{*})) $，在所有测试的MovieLens数据集中均得到验证。
• 当SVD秩等于最优解秩时，投影梯度方法能正确收敛，PGD和FISTA在ML100k与ML1M数据集上均得到验证。
• FISTA最多只需在最优解秩基础上额外增加两个SVD分量，表明适度过参数化已足够实现收敛。
• 当SVD秩略有增加时，特别是谱间隙较小时，局部收敛区域半径显著增大。
• 实证结果表明，当初始化得当时，使用低秩SVD的方法与满秩SVD方法产生完全相同的迭代序列，证实了收敛正确性。
• 对于ML100k（$ \tau = 3500 $），最优解秩为41，梯度有42个分量处于最大奇异值，FISTA在秩42时正确收敛。