[论文解读] Run Procrustes, Run! On the convergence of accelerated Procrustes Flow.

Anastasios Kyrillidis, Shashanka Ubaru+2 more|arXiv (Cornell University)|Jun 1, 2018

Stochastic Gradient Optimization Techniques参考文献 57被引用 3

一句话总结

本文在非凸优化框架下建立了加速Procrustes Flow在低秩矩阵感知中的线性收敛性，表明加速方法在条件数依赖性方面与非加速方法保持一致，同时在合成任务和真实世界任务（如神经元活动恢复与量子态层析）中提升了实际性能。

ABSTRACT

In this work, we present theoretical results on the convergence of non-convex accelerated gradient descent in matrix factorization models. The technique is applied to matrix sensing problems with squared loss, for the estimation of a rank $r$ optimal solution $X^\star \in \mathbb{R}^{n imes n}$. We show that the acceleration leads to linear convergence rate, even under non-convex settings where the variable $X$ is represented as $U U^ op$ for $U \in \mathbb{R}^{n imes r}$. Our result has the same dependence on the condition number of the objective --and the optimal solution-- as that of the recent results on non-accelerated algorithms. However, acceleration is observed in practice, both in synthetic examples and in two real applications: neuronal multi-unit activities recovery from single electrode recordings, and quantum state tomography on quantum computing simulators.

研究动机与目标

• 分析加速梯度下降在非凸矩阵分解问题中的收敛行为。
• 为具有平方损失的低秩矩阵感知中的加速Procrustes Flow建立理论保证。
• 证明加速方法在保持与非加速方法相同条件数依赖性的同时，提升了实际性能。
• 在真实世界应用（如单电极神经元多单元活动恢复与量子态层析）中验证该方法。

提出的方法

• 该方法通过因子分解 $X = UU^\top$（其中 $U \in \mathbb{R}^{n \times r}$）进行非凸优化，以估计秩-$r$解 $X^\star$。
• 对因子化变量 $U$ 应用加速梯度下降，利用动量项提升收敛速度。
• 理论分析聚焦于具有平方损失的矩阵感知问题，证明在非凸设置下可实现线性收敛。
• 收敛速率依赖于目标函数和最优解的条件数，与非加速结果一致。
• 通过合成实验及两项真实世界应用（单电极神经元活动恢复与量子态层析）验证该方法。

实验结果

研究问题

• RQ1 加速Procrustes Flow是否在非凸低秩矩阵分解中实现线性收敛？
• RQ2 加速Procrustes Flow的收敛速率与非加速方法相比，在条件数依赖性方面有何差异？
• RQ3 加速Procrustes Flow在真实世界应用中是否具有实际有效性，而不仅限于合成设置？
• RQ4 动量在非凸性下的矩阵感知中如何加速收敛？

主要发现

• 即使使用 $X = UU^\top$ 表示解，加速Procrustes Flow在非凸矩阵分解中仍能实现线性收敛。
• 收敛速率对条件数的依赖性与非加速算法相同，表明其具有理论鲁棒性。
• 在合成实验中观察到实际加速效果，验证了理论预期。
• 该方法在从单电极记录中恢复神经元多单元活动方面表现出更优性能。
• 在量子计算模拟器上的量子态层析任务中也表现出色，验证了其在真实世界中的适用性。