[论文解读] On the computational and statistical complexity of over-parameterized matrix sensing

Jiacheng Zhuo, Jeongyeol Kwon+2 more|arXiv (Cornell University)|Jan 27, 2021

Sparse and Compressive Sensing Techniques参考文献 34被引用 8

一句话总结

本文针对过参数化的低秩矩阵感知问题中，真实秩 $ r $ 未知且过指定（$ k > r $）时的因子化梯度下降（FGD）进行了全面分析。结果表明，FGD 在 $ \tilde{\mathcal{O}}(\sigma_r / \sigma \cdot \sqrt{n/d}) $ 次迭代后收敛至统计误差 $ \tilde{\mathcal{O}}(kd\sigma^2/n) $，解决了在过参数化条件下对计算复杂度与统计复杂度理解的关键空白。

ABSTRACT

We consider solving the low rank matrix sensing problem with Factorized Gradient Descend (FGD) method when the true rank is unknown and over-specified, which we refer to as over-parameterized matrix sensing. If the ground truth signal $\mathbf{X}^* \in \mathbb{R}^{d*d}$ is of rank $r$, but we try to recover it using $\mathbf{F} \mathbf{F}^ op$ where $\mathbf{F} \in \mathbb{R}^{d*k}$ and $k>r$, the existing statistical analysis falls short, due to a flat local curvature of the loss function around the global maxima. By decomposing the factorized matrix $\mathbf{F}$ into separate column spaces to capture the effect of extra ranks, we show that $\|\mathbf{F}_t \mathbf{F}_t - \mathbf{X}^*\|_{F}^2$ converges to a statistical error of $ ilde{\mathcal{O}} ({k d σ^2/n})$ after $ ilde{\mathcal{O}}(\frac{σ_{r}}σ\sqrt{\frac{n}{d}})$ number of iterations where $\mathbf{F}_t$ is the output of FGD after $t$ iterations, $σ^2$ is the variance of the observation noise, $σ_{r}$ is the $r$-th largest eigenvalue of $\mathbf{X}^*$, and $n$ is the number of sample. Our results, therefore, offer a comprehensive picture of the statistical and computational complexity of FGD for the over-parameterized matrix sensing problem.

研究动机与目标

• 解决在低秩矩阵感知中真实秩 $ r $ 未知且过指定（$ k > r $）时，因子化梯度下降（FGD）缺乏理论理解的问题。
• 克服在过参数化设置下全局最优解附近 Hessian 矩阵退化及平坦局部曲率的问题，此类问题使依赖强凸性的先前分析失效。
• 刻画 FGD 在过参数化情形下的统计误差与计算收敛速率，提供其性能的完整图景。
• 证明 FGD 收敛至非零的统计误差，这是由于过指定引入的额外自由度所致，而非精确恢复。

提出的方法

• 将因子化矩阵 $ \mathbf{F} $ 分解为独立的列空间，以建模真实秩 $ r $ 之外的额外秩的影响。
• 通过跟踪梯度更新下因子化矩阵 $ \mathbf{F}_t $ 的演化来分析 FGD 动态，使用步长为 $ \eta $ 的更新规则 $ \mathbf{F}_{t+1} = \mathbf{F}_t - \eta \mathbf{G}_t^n $，其中 $ \mathbf{G}_t^n $ 为经验梯度。
• 利用低秩矩阵上的 $ \epsilon $-网实现一致浓度界，以控制经验梯度与期望之间的偏差。
• 利用次高斯浓度与谱范数界，推导经验 Hessian 一致收敛至期望 Hessian 的高概率结果。
• 提出一种新颖的分析框架，通过隔离因子化中额外 $ k - r $ 个维度的贡献，考虑秩的过指定问题。
• 借助随机矩阵理论与高维概率的结果，界定梯度算子在低秩子空间上偏离单位算子的偏差。

实验结果

研究问题

• RQ1 在低秩矩阵感知中，当秩被过指定（$ k > r $）时，FGD 可实现的统计误差是多少？
• RQ2 在过参数化条件下，FGD 需要多少次迭代才能收敛至真实矩阵 $ \mathbf{X}^* $ 的稳定邻域？
• RQ3 为何标准收敛分析在过参数化情形下失效？如何调整以处理平坦曲率与非严格凸性？
• RQ4 比值 $ \sigma_r / \sigma $（其中 $ \sigma_r $ 为 $ \mathbf{X}^* $ 的第 $ r $ 大特征值，$ \sigma $ 为噪声标准差）如何影响收敛速率？
• RQ5 尽管存在额外自由度，FGD 是否仍能在过参数化设置下实现极小化最大误差？

主要发现

• FGD 迭代结果 $ \mathbf{F}_t \mathbf{F}_t^\top $ 收敛至统计误差 $ \tilde{\mathcal{O}}(kd\sigma^2/n) $，该误差与过参数化的秩 $ k $ 成正比，即使真实秩为 $ r $。
• 收敛速率为 $ \tilde{\mathcal{O}}(\sigma_r / \sigma \cdot \sqrt{n/d}) $ 次迭代，其依赖于 $ \sigma_r / \sigma $ 的信噪比，并随样本量 $ n $ 的平方根增长。
• 最终误差大于已知秩情形（$ \tilde{\mathcal{O}}(rd\sigma^2/n) $），因为额外的 $ (k - r) $ 个维度引入了不可消除的估计误差。
• 分析表明，在过参数化下全局最小值处 Hessian 矩阵退化，从而否定了先前依赖强凸性的假设。
• 以高概率，经验梯度算子在低秩子空间上集中于单位算子，使得可通过 $ \epsilon $-网论证实现收敛分析。
• 结果在次高斯噪声与随机对称感知矩阵下成立，且为非渐近结果，提供了有限样本保证。