[论文解读] The Mixing method: low-rank coordinate descent for semidefinite programming with diagonal constraints

Po-Wei Wang, Wei‐Cheng Chang+1 more|arXiv (Cornell University)|Jun 1, 2017

Sparse and Compressive Sensing Techniques参考文献 3被引用 18

一句话总结

该论文提出了一种名为 Mixing 方法的简单、无参数的低秩坐标下降算法，用于求解具有对角约束的半定规划（SDP）。在足够高的秩和随机初始化条件下，该方法可实现全局收敛至最优解，其速度比当前最先进方法快10–100倍，同时在 MAXCUT、MAXSAT 和词嵌入应用中保持了高精度解的质量。

ABSTRACT

In this paper, we propose a low-rank coordinate descent approach to structured semidefinite programming with diagonal constraints. The approach, which we call the Mixing method, is extremely simple to implement, has no free parameters, and typically attains an order of magnitude or better improvement in optimization performance over the current state of the art. We show that the method is strictly decreasing, converges to a critical point, and further that for sufficient rank all non-optimal critical points are unstable. Moreover, we prove that with a step size, the Mixing method converges to the global optimum of the semidefinite program almost surely in a locally linear rate under random initialization. This is the first low-rank semidefinite programming method that has been shown to achieve a global optimum on the spherical manifold without assumption. We apply our algorithm to two related domains: solving the maximum cut semidefinite relaxation, and solving a maximum satisfiability relaxation (we also briefly consider additional applications such as learning word embeddings). In all settings, we demonstrate substantial improvement over the existing state of the art along various dimensions, and in total, this work expands the scope and scale of problems that can be solved using semidefinite programming methods.

研究动机与目标

• 为解决传统半定规划（SDP）求解器因矩阵规模增长导致变量数量呈二次增长而带来的可扩展性限制。
• 开发一种低秩、非凸优化方法，以高效求解具有对角约束的结构化 SDP，例如在 MAXCUT 和 MAXSAT 松弛中出现的问题。
• 在足够高的秩和随机初始化条件下，无需额外假设，即可实现对非凸球面流形上真实最优解的全局收敛。
• 在组合优化和自然语言处理（NLP）等多个应用领域中，展示其在优化速度和解质量方面的优越性。

提出的方法

• 该方法采用低秩分解 $ X = V^T V $，其中 $ V \in \mathbb{R}^{k \times n} $，来表示 SDP 变量，从而避免显式引入半正定性约束。
• 通过每次迭代仅更新 $ V $ 的一行 $ v_i $，采用基于对角约束 $ X_{ii} = 1 $ 的闭式更新公式，实现坐标下降。
• 更新规则将每个 $ v_i $ 解释为其他 $ v_j $ 的“混合”，因此得名“Mixing 方法”，确保每一步迭代均严格降低目标函数值。
• 该算法仅需对稀疏矩阵进行单次遍历，因此在具有稀疏数据结构的大规模问题中具有极高的效率。
• 该方法采用一个步长参数，可在随机初始化下实现几乎必然收敛至全局最优解，且在接近最优解时表现出局部线性收敛速度。
• 该方法本质上是无参数的，无需学习率调优或超参数选择。

实验结果

研究问题

• RQ1 能否在不增加额外假设的前提下，使一种低秩、非凸的坐标下降方法实现对具有对角约束的 SDP 真实最优解的全局收敛？
• RQ2 Mixing 方法在大规模 SDP 问题上是否在速度和解质量方面均优于现有最先进求解器？
• RQ3 该方法能否有效应用于非传统 SDP 应用，如 MAXSAT 松弛和词嵌入学习？
• RQ4 在足够高的秩条件下，能否为收敛至临界点以及非最优解的不稳定性提供理论保证？
• RQ5 该方法在接近最优解时是否无论秩的大小如何，均能保持局部线性收敛？

主要发现

• Mixing 方法收敛至一阶临界点，且每一步迭代均严格递减，确保单调改进。
• 当秩 $ k > \sqrt{2n} $ 时，所有非最优临界点均不稳定，这支持了向全局最优解收敛的结论。
• 在采用合适步长时，该方法在随机初始化下几乎必然收敛至全局最优解，这是在球面流形上无需假设的首次此类结果。
• 在 MAXCUT SDP 问题上，该方法比竞争求解器快10–100倍，即使在最大规模问题上也保持了持续的加速效果，优于 Manopt 等方法。
• 在 MAXSAT 问题上，该方法在 525 个基准问题上平均近似比达到 0.978，通常比 MAXSAT 2016 竞赛中表现最佳的部分求解器和完整求解器更快。
• 在词嵌入问题上，该方法也表现出优越性能，其性能与 GloVe 相当或更优，且在优化速度上显著更快。