[论文解读] Provable non-convex projected gradient descent for a class of constrained matrix optimization problems.

Dohyung Park, Anastasios Kyrillidis+3 more|arXiv (Cornell University)|Jun 4, 2016

Sparse and Compressive Sensing Techniques参考文献 4被引用 9

一句话总结

本文提出投影因子梯度下降（ProjFGD），一种用于具有强凸目标函数和矩阵范数约束的低秩半正定矩阵问题的可扩展非凸优化方法。通过利用一种新颖的下降引理，该方法在因子空间中实现了局部线性收敛，为量子态层析成像和相位恢复等应用提供了可证明的收敛性。

ABSTRACT

We propose a simple and scalable non-convex method for low-rank PSD matrix problems with a generic (strongly) convex objective $f$, and additional matrix norm constraints. Such criteria appear in quantum state tomography and phase retrieval applications, among others. However, without careful design, existing methods quickly run into time and memory bottlenecks, as problem dimensions increase. To remedy these shortcomings, we propose the Projected Factored Gradient Descent (ProjFGD) algorithm, that operates on the low-rank factorization of the variable space. Such factorization imputes non-convexity in the optimization; nevertheless, we show that our method favors local linear convergence rate in the non-convex factored space, for a class of convex norm-constrained problems. We build our theory on a novel descent lemma, that extends recent results on the unconstrained version of the problem. Our findings are supported by empirical evidence on quantum state tomography and sparse phase retrieval applications.

研究动机与目标

• 解决大规模约束低秩矩阵优化问题中的可扩展性和内存瓶颈问题。
• 为具有范数约束的凸矩阵问题的非凸因子化形式开发一种可证明收敛的方法。
• 通过一种新颖的下降引理，将收敛理论从无约束推广到约束非凸矩阵优化。
• 实现对实际问题（如量子态层析成像和稀疏相位恢复）的高效求解。

提出的方法

• 该方法采用矩阵变量的低秩因子分解以降低维度，并实现可扩展优化。
• 在因子空间中应用投影梯度下降，其中迭代点被投影到由矩阵范数约束定义的可行集上。
• 推导出一种新颖的下降引理，以在非凸因子化形式中建立收敛保证。
• 该算法在强凸目标函数下运行，确保有利的收敛行为。
• 投影步骤强制执行如核范数或Frobenius范数边界等约束。
• 该方法设计简洁高效，避免了昂贵的SVD计算或高内存操作。

实验结果

研究问题

• RQ1 非凸因子化优化方法是否能在具有强凸目标函数的约束低秩矩阵问题中实现局部线性收敛？
• RQ2 在存在约束的情况下，如何在非凸因子空间中可证明地建立收敛性？
• RQ3 该新颖下降引理在将无约束收敛结果推广到约束情形中起到什么作用？
• RQ4 该方法是否能高效扩展到高维问题，而不会出现内存或时间瓶颈？
• RQ5 该方法在保持理论保证的同时，是否对实际应用（如量子态层析成像）具有实际效率？

主要发现

• ProjFGD算法在一类凸范数约束矩阵优化问题中，于非凸因子空间实现了局部线性收敛。
• 收敛性通过一种新颖的下降引理得到保证，该引理将近期无约束设置下的结果进行了扩展。
• 该方法具有可扩展性，并避免了传统方法在大规模问题中常见的内存和时间瓶颈。
• 实验结果证实了该方法在量子态层析成像和稀疏相位恢复任务中的有效性。
• 理论框架支持在强凸性和约束条件下使用非凸因子化，同时保持收敛性。