[论文解读] Provable Burer-Monteiro factorization for a class of norm-constrained matrix problems

Dohyung Park, Anastasios Kyrillidis+3 more|arXiv (Cornell University)|Jun 4, 2016

Advanced X-ray Imaging Techniques参考文献 5被引用 22

一句话总结

本文提出投影因子梯度下降（ProjFGD），一种用于具有半正定和范数约束的低秩矩阵问题的非凸优化方法。通过利用Burer-Monteiro因子分解和一种新颖的下降引理，该方法在强凸性和Lipschitz梯度假设下实现了局部线性收敛，其性能优于量子态层析成像和稀疏相位恢复任务中的最先进方法。

ABSTRACT

We study the projected gradient descent method on low-rank matrix problems with a strongly convex objective. We use the Burer-Monteiro factorization approach to implicitly enforce low-rankness; such factorization introduces non-convexity in the objective. We focus on constraint sets that include both positive semi-definite (PSD) constraints and specific matrix norm-constraints. Such criteria appear in quantum state tomography and phase retrieval applications. We show that non-convex projected gradient descent favors local linear convergence in the factored space. We build our theory on a novel descent lemma, that non-trivially extends recent results on the unconstrained problem. The resulting algorithm is Projected Factored Gradient Descent, abbreviated as ProjFGD, and shows superior performance compared to state of the art on quantum state tomography and sparse phase retrieval applications.

研究动机与目标

• 开发一种可扩展的非凸优化方法，用于具有半正定和额外范数约束的低秩矩阵问题。
• 在强凸性和Lipschitz梯度条件下，为因子空间中的投影梯度下降提供可证明的局部线性收敛保证。
• 通过使用低秩因子分解，解决大规模矩阵优化中特征分解的计算瓶颈。
• 将下降引理理论扩展至具有结构化约束集的约束性、非凸设置。
• 在量子态层析成像和稀疏相位恢复应用中展示优越的实验性能。

提出的方法

• 采用Burer-Monteiro因子分解 $X = UU^\top$，隐式地施加低秩和半正定约束，避免每轮迭代中的昂贵特征分解。
• 提出投影因子梯度下降（ProjFGD），一种直接在因子矩阵 $U \in \mathbb{R}^{n \times r}$ 上操作的投影梯度方法。
• 采用一种新颖的下降引理，非平凡地将凸下降条件扩展至具有结构化约束的约束性、非凸因子设置。
• 通过一个紧凑且凸的集合 $\mathcal{C} \subseteq \mathbb{R}^{n \times r}$ 实现约束，该集合支持可计算的欧几里得投影，包括逐元素缩放操作。
• 采用初始化 $X_0 = \Pi_{\mathcal{C}'}(-\frac{1}{L}\nabla f(0))$，随后进行低秩因子分解和投影，以确保 $U_0 \in \mathcal{C}$。
• 理论分析基于 $f$ 的限制强凸性和光滑性，并假设 $\mathcal{C}$ 满足结构条件，从而在 $U$ 和 $X$ 空间中均能实现收敛。

实验结果

研究问题

• RQ1 在因子矩阵 $U$ 上的投影梯度下降能否实现对范数约束下低秩矩阵问题的局部线性收敛？
• RQ2 如何将下降引理扩展至因子空间中的非凸、约束优化问题？
• RQ3 在限制强凸性和光滑性条件下，何种初始化可保证ProjFGD的收敛性？
• RQ4 Burer-Monteiro因子分解方法能否在量子态层析成像和稀疏相位恢复中优于标准方法？
• RQ5 ProjFGD在何种理论条件下，能通过 $U$ 空间收敛至 $X$ 空间的全局最优解？

主要发现

• 在限制强凸性和Lipschitz梯度条件下，ProjFGD在因子空间 $U$ 中实现了局部线性收敛。
• 所提出的下降引理非平凡地将凸下降理论扩展至具有结构化约束的约束性、非凸设置。
• 初始化 $U_0$ 满足 $\mathrm{Dist}(U_0, U^\star) \leq \rho' \cdot \sigma_r(U^\star)$，其中 $\rho' = \sqrt{\frac{1 - \mu/L}{2(\sqrt{2}-1)}} \cdot \tau^2(U^\star) \cdot \sqrt{\mathrm{srank}(X^\star)}$。
• 实验结果表明，ProjFGD在量子态层析成像和稀疏相位恢复任务中优于最先进方法。
• 该方法通过使用低秩因子分解避免了昂贵的特征分解，从而在大规模场景中实现了可扩展性。
• 理论保证在 $\mathcal{C}^\prime$ 包含 $\ell_1$-范数约束（如稀疏PCA和相位恢复）时依然成立，前提是满足适当的假设。