[论文解读] Solving SDPs for synchronization and MaxCut problems via the Grothendieck inequality

Mei Song, Theodor Misiakiewicz+2 more|arXiv (Cornell University)|Mar 25, 2017

Sparse and Compressive Sensing Techniques参考文献 23被引用 35

一句话总结

本文为MaxCut和同步问题中出现的秩约束半定规划（SDP）建立了格罗滕迪克型不等式，证明当秩为常数时，所有局部极大值点与全局最优解之间的乘法差距都很小。研究表明，非凸秩约束问题上的黎曼信赖域方法在秩为 $k$ 时可实现 $ (1 - 1/(k-1)) \times 0.878 $ 的近似比，并在温和条件下保证收敛至近似最优解，从而解释了低秩求解器在实践中的成功。

ABSTRACT

A number of statistical estimation problems can be addressed by semidefinite programs (SDP). While SDPs are solvable in polynomial time using interior point methods, in practice generic SDP solvers do not scale well to high-dimensional problems. In order to cope with this problem, Burer and Monteiro proposed a non-convex rank-constrained formulation, which has good performance in practice but is still poorly understood theoretically. In this paper we study the rank-constrained version of SDPs arising in MaxCut and in synchronization problems. We establish a Grothendieck-type inequality that proves that all the local maxima and dangerous saddle points are within a small multiplicative gap from the global maximum. We use this structural information to prove that SDPs can be solved within a known accuracy, by applying the Riemannian trust-region method to this non-convex problem, while constraining the rank to be of order one. For the MaxCut problem, our inequality implies that any local maximizer of the rank-constrained SDP provides a $ (1 - 1/(k-1)) imes 0.878$ approximation of the MaxCut, when the rank is fixed to $k$. We then apply our results to data matrices generated according to the Gaussian ${\mathbb Z}_2$ synchronization problem, and the two-groups stochastic block model with large bounded degree. We prove that the error achieved by local maximizers undergoes a phase transition at the same threshold as for information-theoretically optimal methods.

研究动机与目标

• 解释大规模MaxCut和同步问题中低秩、非凸SDP求解器的实验成功原因。
• 通过证明局部极大值的格罗滕迪克型不等式，为秩约束SDP形式提供理论保证。
• 表明在非凸低秩问题上，黎曼信赖域方法可收敛至与全局最优解已知近似差距内的解。
• 分析同步问题中局部极大值点的相变行为，并与信息论最优阈值进行比较。

提出的方法

• 推导出一种格罗滕迪克型不等式，用于界定MaxCut和 ${\rm SO}(d)$-同步问题中秩约束SDP的局部极大值与全局最优解之间的差距。
• 在单位Frobenius范数每行的秩-$k$矩阵流形上使用黎曼信赖域（RTR）方法求解非凸问题。
• 通过分析曲率和梯度行为，建立收敛速率，区分RTR算法中的特征值步长与梯度步长。
• 应用三阶导数和Hessian曲率的界，推导出每次迭代时最高曲率的下界，将其与最优性差距关联。
• 利用问题结构，证明当秩为 $k$ 时，MaxCut的近似差距为 $ (1 - 1/(k-1)) \times 0.878 $。
• 将该框架应用于 ${\mathbb{Z}}_{2}$ 同步问题和两群随机块模型，表明相变阈值与最优方法一致。

实验结果

研究问题

• RQ1 能否为MaxCut和同步问题的低秩、非凸SDP形式中的局部极大值建立格罗滕迪克型不等式？
• RQ2 在秩约束流形上，黎曼信赖域方法是否能收敛至与全局最优解保持常数乘法差距内的解？
• RQ3 秩约束MaxCut问题中局部极大值点的近似质量如何？其随秩 $k$ 的变化趋势如何？
• RQ4 ${\mathbb{Z}}_{2}$ 同步问题和随机块模型中的局部极大值点是否在与信息论最优方法相同的阈值处发生误差率的相变？

主要发现

• 对于MaxCut问题，任何秩-$k$非凸SDP的局部极大值点均能提供 $ (1 - 1/(k-1)) \times 0.878 $ 的全局最优解近似。
• 黎曼信赖域方法在 $ T = \tilde{O}(n \max(\|A\|_2^2/\varepsilon^2, \|A\|_1/\varepsilon)) $ 次迭代内收敛至最优值 $ \varepsilon $ 以内的解，其中 $ \tilde{O} $ 隐含对数因子。
• MaxCut的近似差距由 $ \frac{1}{k-1}(\text{SDP}(A) + \text{SDP}(-A)) $ 限定，当 $ k = O(1) $ 时该值较小。
• 在大有界度的 ${\mathbb{Z}}_{2}$ 同步问题中，局部极大值点的误差率在与信息论最优方法相同的阈值处发生相变。
• 收敛速率可达 $ O(\|A\|_1 n \sqrt{n/T}) $，当Hessian曲率较大时可进一步提升。
• 分析证实，当秩 $ k = O(1) $ 时，黎曼信赖域方法在大规模MaxCut和同步问题中具有理论合理性。