[论文解读] Space-Efficient Interior Point Method, with applications to Linear Programming and Maximum Weight Bipartite Matching

S. Cliff Liu, Zhao Song+3 more|arXiv (Cornell University)|Sep 13, 2020

Complexity and Algorithms in Graphs参考文献 73被引用 11

一句话总结

本文提出了一种空间高效的内点法（IPM），仅优化对偶线性规划，实现了在半流模型中求解一般线性规划的 $\tilde{O}(n^2)$ 空间和 $\tilde{O}(\bar{m}\text{ passes})$，以及最大权二分匹配的 $\tilde{O}(\bar{m})$ 次遍历。该方法通过使用仅对偶的内点法框架，结合递归计算 Lewis 权重和原地 Hessian 更新，避免了对偶变量状态的维护，并消除了对 $m$ 的多项式依赖。这是首个在流模型中实现次线性遍历次数且空间与 $m$ 无关的流式线性规划求解器。

ABSTRACT

We study the problem of solving linear program in the streaming model. Given a constraint matrix $A\in \mathbb{R}^{m imes n}$ and vectors $b\in \mathbb{R}^m, c\in \mathbb{R}^n$, we develop a space-efficient interior point method that optimizes solely on the dual program. To this end, we obtain efficient algorithms for various different problems: * For general linear programs, we can solve them in $\widetilde O(\sqrt n\log(1/ε))$ passes and $\widetilde O(n^2)$ space for an $ε$-approximate solution. To the best of our knowledge, this is the most efficient LP solver in streaming with no polynomial dependence on $m$ for both space and passes. * For bipartite graphs, we can solve the minimum vertex cover and maximum weight matching problem in $\widetilde O(\sqrt{m})$ passes and $\widetilde O(n)$ space. In addition to our space-efficient IPM, we also give algorithms for solving SDD systems and isolation lemma in $\widetilde O(n)$ spaces, which are the cornerstones for our graph results.

研究动机与目标

• 解决流模型中缺乏高效空间线性规划求解器的问题，特别是针对高瘦稠密矩阵（$m \gg n$）的情况。
• 通过转向仅对偶优化框架，克服传统对偶-对偶内点法（IPM）的 $\Omega(m+n^2)$ 空间瓶颈。
• 设计一种流式算法，用于求解线性规划问题，实现次线性遍历次数且空间与 $m$ 无关。
• 将该框架扩展至解决图问题，如最小点覆盖和最大权二分匹配，适用于半流模型。
• 设计针对 SDD 系统和隔离引理的高效空间求解器，作为图应用的基础组件。

提出的方法

• 提出一种仅对偶的鲁棒内点法（IPM），避免维护原始变量，通过仅存储 Hessian 矩阵将空间使用降低至 $\widetilde{O}(n^2)$。
• 使用递归且原地计算的 Lewis 权重，以在不存储完整矩阵的情况下维护 Hessian 的预条件子。
• 设计一种具有递归结构的混合障碍函数，允许通过 Cholesky 分解实现空间高效的牛顿步长计算。
• 在流模型中设计一种迭代 SDD 系统求解器，利用递归杠杆率估计和原地 Cholesky 更新。
• 通过将最小点覆盖和最大权二分匹配问题约化为具有低树宽结构的对偶 LP 问题，将仅对偶 IPM 应用于图问题。
• 在流模型中实现隔离引理，以确保唯一最优解，从而通过 LP 对偶性实现精确匹配。

实验结果

研究问题

• RQ1 我们如何设计一种在流模型中求解线性规划问题的算法，实现次线性遍历次数且空间与约束数量 $m$ 无关？
• RQ2 在半流模型中求解最大权二分匹配问题的最小空间与遍历复杂度是多少？
• RQ3 我们能否递归且原地计算 Lewis 权重和杠杆率，以实现在流式环境中高效的空间内点法？
• RQ4 我们如何以 $\widetilde{O}(n)$ 空间和 $\widetilde{O}(\bar{m})$ 次遍历求解 SDD 系统，并将其应用于图问题？
• RQ5 我们能否通过仅对偶 IPM 框架，在 $\widetilde{O}(\bar{m})$ 次遍历和 $\widetilde{O}(n)$ 空间内实现精确的最大权二分匹配？

主要发现

• 本文提出一种仅对偶的 IPM，可在 $\widetilde{O}(n^2)$ 空间和 $\widetilde{O}(\bar{m})$ 次遍历内求解一般线性规划问题，且对 $m$ 无多项式依赖。
• 对于最大权二分匹配，该算法在半流模型中实现了 $\widetilde{O}(\bar{m})$ 次遍历和 $\widetilde{O}(n)$ 空间。
• 该算法以 $\widetilde{O}(n^2)$ 空间递归计算 Lewis 权重，实现了无需完整矩阵存储的高效 Hessian 近似。
• 开发了一款 SDD 系统求解器，具有 $\widetilde{O}(n)$ 空间和 $\widetilde{O}(n)$ 次遍历，构成图应用的核心原 primitive。
• 隔离引理在 $\widetilde{O}(n)$ 空间内实现，通过 LP 对偶性在 $\widetilde{O}(\bar{m})$ 次遍历内实现精确最大匹配。
• 对于树宽为多对数的图，该方法实现了 $\widetilde{O}(n)$ 空间和 $\widetilde{O}(\bar{m})$ 次遍历，填补了与可达性和 SSSP 算法之间的差距。