[论文解读] Smoothed analysis for low-rank solutions to semidefinite programs in quadratic penalty form

Srinadh Bhojanapalli, Nicolas Boumal+2 more|arXiv (Cornell University)|Mar 1, 2018

Sparse and Compressive Sensing Techniques参考文献 20被引用 16

一句话总结

该论文提出了一种基于Burer–Monteiro分解中二次惩罚公式的低秩半定规划（SDP）解的平滑分析框架。结果表明，当 $ k = \tilde{\Omega}(\sqrt{m}) $ 时，惩罚后、扰动后的问题的所有二阶驻点（SOSPs）近似最优，通过成本矩阵的随机扰动避免了病态情况。

ABSTRACT

Semidefinite programs (SDP) are important in learning and combinatorial optimization with numerous applications. In pursuit of low-rank solutions and low complexity algorithms, we consider the Burer--Monteiro factorization approach for solving SDPs. We show that all approximate local optima are global optima for the penalty formulation of appropriately rank-constrained SDPs as long as the number of constraints scales sub-quadratically with the desired rank of the optimal solution. Our result is based on a simple penalty function formulation of the rank-constrained SDP along with a smoothed analysis to avoid worst-case cost matrices. We particularize our results to two applications, namely, Max-Cut and matrix completion.

研究动机与目标

• 为通过低秩分解降低变量维度，高效求解大规模半定规划（SDPs）
• 克服Burer–Monteiro分解SDP公式中的非凸性和约束复杂性
• 建立惩罚后分解问题的二阶驻点（SOSPs）为全局最优的条件
• 利用平滑分析避免产生次优SOSPs的罕见病态成本矩阵
• 将理论保证扩展到有界残差和扰动目标下的实际近似最优解

提出的方法

• 使用Burer–Monteiro分解表示秩约束SDP：$ X = UU^T $，将变量数从 $ O(n^2) $ 降低至 $ O(nk) $
• 对约束施加二次惩罚，将问题转化为 $ \min_U L_\mu(U) = \langle C, UU^T \rangle + \mu \sum_i (\langle A_i, UU^T \rangle - b_i)^2 $
• 通过向成本矩阵 $ C $ 添加小的独立同分布高斯噪声实施平滑分析，以高概率确保所有SOSPs近似最优
• 通过梯度和海森矩阵条件分析二阶驻点（SOSPs）：梯度范数较小，且海森矩阵具有最小负曲率
• 利用扰动理论和谱范数建立解残差（约束违反）和目标次优性的界
• 应用具有收敛保证的梯度下降法：在 $ \widetilde{O}(1/\epsilon^2) $ 次迭代内达到 $ (\epsilon, \rho^2) $-SOSP，使用Nesterov加速后可改进至 $ \widetilde{O}(1/\epsilon^{1.75}) $

实验结果

研究问题

• RQ1 在何种条件下，惩罚后、分解的SDP的所有二阶驻点（SOSPs）为全局最优？
• RQ2 平滑分析能否消除导致次优SOSPs的病态成本矩阵集合？
• RQ3 在对成本矩阵进行随机扰动后，惩罚问题的SOSPs达到近似最优所需的最小秩 $ k $ 是多少？
• RQ4 在惩罚后、分解的公式中，基于梯度的算法的收敛速率如何依赖于问题参数？
• RQ5 能否将理论保证从惩罚后、扰动的问题（4）扩展到原始SDP（1）？

主要发现

• 当 $ k = \tilde{\Omega}(\sqrt{m}) $ 时，惩罚后、扰动后问题的所有二阶驻点（SOSPs）以高概率近似最优
• 扰动梯度方法在 $ \widetilde{O}(1/\epsilon^2) $ 次迭代内收敛至 $ (\epsilon, \rho^2) $-SOSP，使用Nesterov加速后可改进至 $ \widetilde{O}(1/\epsilon^{1.75}) $
• 当海森矩阵有界且成本矩阵添加独立同分布高斯噪声时，所有SOSPs具有有界残差且近似最优
• 对于正定成本矩阵和紧致SDP，惩罚问题的SOSPs具有有界解（残差），确保稳定性
• 在较弱条件下，该方法可实现原始SDP（1）的近似最优性，理论保证可扩展至Max-Cut和矩阵补全应用
• 密集问题每轮迭代的计算复杂度为 $ O(mn^2k) $，但在约束矩阵具有稀疏性时显著降低