[论文解读] The Mixing method: coordinate descent for low-rank semidefinite programming.

Po-Wei Wang, Wei-Cheng Chang+1 more|arXiv (Cornell University)|Jun 1, 2017

Sparse and Compressive Sensing Techniques被引用 11

一句话总结

本文提出了一种名为 Mixing 的方法，这是一种针对低秩半定规划的简单、无参数的坐标下降算法，其收敛速度比当前最先进的方法快一个数量级以上。该方法可保证对某些问题收敛至临界点，并在三个领域中显著提升性能：最大割松弛、最大可满足性松弛以及 GloVe 词嵌入优化。

ABSTRACT

In this paper, we propose a coordinate descent approach to low-rank structured semidefinite programming. The approach, which we call the Mixing method, is extremely simple to implement, has no free parameters, and typically attains an order of magnitude or better improvement in optimization performance over the current state of the art. We show that for certain problems, the method is strictly decreasing and guaranteed to converge to a critical point. We then apply the algorithm to three separate domains: solving the maximum cut semidefinite relaxation, solving a (novel) maximum satisfiability relaxation, and solving the GloVe word embedding optimization problem. In all settings, we demonstrate improvement over the existing state of the art along various dimensions. In total, this work substantially expands the scope and scale of problems that can be solved using semidefinite programming methods.

研究动机与目标

• 开发一种简单、高效且无参数的低秩半定规划优化方法。
• 提升半定规划在大规模优化问题中的可扩展性和性能。
• 通过高效的低秩求解器，将半定规划的适用范围扩展至更大、更复杂的问题。
• 在组合优化和自然语言处理等多个领域中，展示该方法的有效性。

提出的方法

• Mixing 方法在半定矩阵的低秩因子上执行坐标下降，每次仅更新一个因子以最小化目标函数。
• 它采用结构化的更新规则，保持低秩结构，并在优化过程中确保数值稳定性。
• 该算法本质上是无参数的，无需进行超参数调优即可保证收敛性和性能。
• 对于特定问题类别，该方法保证目标函数值严格递减，从而确保收敛至临界点。
• 该方法利用低秩结构，相比完整矩阵方法显著降低了计算复杂度和内存占用。
• 通过迭代应用，优化因子化矩阵表示，直至收敛。

实验结果

研究问题

• RQ1 一种简单、无参数的坐标下降方法是否能超越现有最先进的低秩半定规划求解器？
• RQ2 Mixing 方法是否能保证对特定类别的半定规划问题收敛至临界点？
• RQ3 该方法在组合优化和机器学习的大规模问题中是否具备良好的可扩展性？
• RQ4 在真实应用场景（如最大割和 GloVe）中，Mixing 方法与现有求解器相比性能如何？

主要发现

• 与当前最先进的方法相比，Mixing 方法在优化性能上实现了数量级或更高的提升。
• 对于某些问题类别，该方法保证严格递减，且可确保收敛至临界点。
• 该算法在最大割半定松弛问题上表现出色，显著提升了求解质量和速度。
• 它成功求解了一种新型的最大可满足性松弛问题，拓展了半定规划的应用范围。
• 该方法显著加速了 GloVe 词嵌入优化，在收敛速度和可扩展性方面优于现有方法。
• 总体而言，该工作大幅扩展了可高效求解的半定规划问题的范围。