[论文解读] The non-convex Burer-Monteiro approach works on smooth semidefinite programs

Nicolas Boumal, Vladislav Voroninski+1 more|arXiv (Cornell University)|Jun 15, 2016

Sparse and Compressive Sensing Techniques被引用 42

一句话总结

本文证明，在较弱条件下，求解光滑半定规划（SDP）的非凸Burer-Monteiro方法具有全局收敛性：对于几乎所有代价矩阵，低秩因子分解的所有二阶临界点均为全局最优。关键结果表明，当秩参数超过与约束数量相关的阈值时，虚假局部极小值几乎不会出现，从而使得在流形上的局部优化方法具有可靠性。

ABSTRACT

Semidefinite programs (SDPs) can be solved in polynomial time by interior point methods, but scalability can be an issue. To address this shortcoming, over a decade ago, Burer and Monteiro proposed to solve SDPs with few equality constraints via rank-restricted, non-convex surrogates. Remarkably, for some applications, local optimization methods seem to converge to global optima of these non-convex surrogates reliably. Although some theory supports this empirical success, a complete explanation of it remains an open question. In this paper, we consider a class of SDPs which includes applications such as max-cut, community detection in the stochastic block model, robust PCA, phase retrieval and synchronization of rotations. We show that the low-rank Burer--Monteiro formulation of SDPs in that class almost never has any spurious local optima.

研究动机与目标

• 为长期存在的经验现象提供理论解释：尽管存在非凸性，非凸Burer-Monteiro方法在求解大规模SDP时仍表现出显著的成功。
• 正式建立低秩因子化SDP中无虚假局部最优解的条件。
• 阐明在Burer-Monteiro公式下局部优化方法可靠性的理论基础。
• 通过证明标准流形优化算法可达到的二阶临界点可保证全局最优性，从而强化先前结果。
• 纠正并完善关于低秩搜索空间流形结构的早期假设，确保严谨的几何基础。

提出的方法

• 通过 $ X = YY^\top $ 将SDP转化为低秩优化问题，将搜索空间维度从 $ n \times n $ 降低至 $ n \times p $。
• 定义可行集 $ \mathcal{M} = \{ Y \in \mathbb{R}^{n \times p} : \mathcal{A}(YY^\top) = b \} $，并假设其为光滑嵌入子流形。
• 引入更强的约束规范条件：对所有 $ Y \in \mathcal{M} $，矩阵 $ A_1Y, \dots, A_mY $ 线性无关，从而确保切空间 $ \mathrm{T}_Y\mathcal{M} $ 等于 $ \{ \dot{Y} : \mathcal{A}(\dot{Y}Y^\top + Y\dot{Y}^\top) = 0 \} $。
• 在流形 $ \mathcal{M} $ 上分析一阶与二阶最优性条件，证明所有二阶临界点对低秩问题均为全局最优。
• 运用微分几何与稳定性论证，证明对于几乎所有代价矩阵 $ C $，低秩公式中均不存在虚假局部极小值。
• 证明已知的流形优化算法可收敛至二阶临界点，因此在给定条件下可实现全局最优性。

实验结果

研究问题

• RQ1 在何种条件下，SDP的非凸Burer-Monteiro公式中不存在虚假局部极小值？
• RQ2 为何在低秩因子化上使用局部优化方法在实践中能可靠收敛至全局最优解？
• RQ3 哪些几何与代数假设可确保Burer-Monteiro问题的二阶临界点为全局最优？
• RQ4 秩参数 $ p $ 与约束数量 $ m $ 之间有何关系，才能保证虚假局部极小值的缺失？
• RQ5 可行集 $ \mathcal{M} $ 的切空间的正确刻画是什么？为何文献中既往的假设不足？

主要发现

• 在强化的约束规范条件下，当 $ \frac{p(p+1)}{2} > m $ 时，对于几乎所有代价矩阵 $ C $，低秩Burer-Monteiro问题均无虚假局部极小值。
• 非凸问题的所有二阶临界点对原始SDP均为全局最优，意味着局部优化方法可实现全局收敛。
• 经修正的假设——即对所有 $ Y \in \mathcal{M} $，$ A_1Y, \dots, A_mY $ 线性无关——确保了切空间恒等式 $ \mathrm{T}_Y\mathcal{M} = \{ \dot{Y} : \mathcal{A}(\dot{Y}Y^\top + Y\dot{Y}^\top) = 0 \} $，而该恒等式此前被错误地假设成立。
• 该结果适用于包括Max-Cut、社区检测、相位恢复与同步问题在内的广泛SDP类别。
• 理论保证具有鲁棒性：尽管问题为非凸，但虚假局部极小值的缺失使其适用于高效的局部优化。
• 数值实验验证了该方法在实践中的高效性与可靠性，与理论发现一致。