[论文解读] Solving Linear Programs with Sqrt(rank) Linear System Solves

Yin Tat Lee, Aaron Sidford|arXiv (Cornell University)|Oct 17, 2019

Complexity and Algorithms in Graphs参考文献 55被引用 28

一句话总结

该论文提出了一种新颖的内点法，用于在 Õ(√rank(A)) 次迭代内求解线性规划问题，每次迭代仅需 Õ(1) 次线性系统求解和近乎线性的工作量。该方法首次实现了 Õ(rank(A))-自洽障碍函数的多项式时间可计算性，其迭代次数与 Nesterov 和 Nemirovski 的理论迭代界仅相差对数因子。

ABSTRACT

We present an algorithm that given a linear program with $n$ variables, $m$ constraints, and constraint matrix $A$, computes an $ε$-approximate solution in $ ilde{O}(\sqrt{rank(A)}\log(1/ε))$ iterations with high probability. Each iteration of our method consists of solving $ ilde{O}(1)$ linear systems and additional nearly linear time computation, improving by a factor of $ ildeΩ((m/rank(A))^{1/2})$ over the previous fastest method with this iteration cost due to Renegar (1988). Further, we provide a deterministic polynomial time computable $ ilde{O}(rank(A))$-self-concordant barrier function for the polytope, resolving an open question of Nesterov and Nemirovski (1994) on the theory of "universal barriers" for interior point methods. Applying our techniques to the linear program formulation of maximum flow yields an $ ilde{O}(|E|\sqrt{|V|}\log(U))$ time algorithm for solving the maximum flow problem on directed graphs with $|E|$ edges, $|V|$ vertices, and integer capacities of size at most $U$. This improves upon the previous fastest polynomial running time of $O(|E|\min\{|E|^{1/2},|V|^{2/3}\}\log(|V|^{2}/|E|)\log(U))$ achieved by Goldberg and Rao (1998). In the special case of solving dense directed unit capacity graphs our algorithm improves upon the previous fastest running times of $O(|E|\min\{|E|^{1/2},|V|^{2/3}\})$ achieved by Even and Tarjan (1975) and Karzanov (1973) and of $ ilde{O}(|E|^{10/7})$ achieved more recently by Mądry (2013).

研究动机与目标

• 弥合理论迭代界 Õ(√rank(A)) 与实际内点方法所需更多迭代次数之间的差距。
• 为由秩-r 矩阵定义的多面体构造一种多项式时间可计算的自洽障碍函数，解决 Nesterov 和 Nemirovski 提出的一个开放问题。
• 设计一种实现最优迭代次数且保持低每轮计算成本（尤其是线性系统求解次数）的算法。
• 建立内点法、ℓp Lewis 权重与快速线性系统求解器之间的新联系，以提升算法效率。

提出的方法

• 利用 q = Θ(log m) 的 ℓq Lewis 权重，为多面体 {x : Ax ≥ b} 构造一个自洽障碍函数 ψ。
• 通过矩阵 Aₓ = diag(Ax - b) 及其 Lewis 权重 wₓ，构造出具有 O(n log⁵ m) 自洽性的障碍 ψ。
• 采用一种新颖的障碍构造方法，确保 ∇²ψ(x) ≈ AₓᵀWₓAₓᵀ，从而实现高效的 Hessian 矩阵近似。
• 使用快速算法计算并更新 Lewis 权重，时间复杂度为 Õ(mn^{ω−1/2})，深度为 Õ(√n log⁴ m)，用于初始权重重。
• 通过扰动界控制误差，应用近似线性系统求解器，确保即使使用不精确求解也能实现收敛。
• 集成最先进的回归与线性系统求解技术，实现接近最优的运行时间 Õ((nnz(A) + rank(A)^ω)√rank(A) log(1/ε))。

实验结果

研究问题

• RQ1 能否在多项式时间内计算出一般多面体的自洽障碍函数，使其迭代次数与理论界 Õ(√rank(A)) 一致？
• RQ2 能否将每次迭代的线性系统求解次数减少到 Õ(1)，同时保持最优的迭代次数？
• RQ3 ℓp Lewis 权重在构造高效、多项式时间可计算的内点法障碍函数中起到何种作用？
• RQ4 该算法能否被改进以在 Õ(|E|√|V| log U) 时间内求解最大流问题，优于以往的界限？
• RQ5 如何在不降低收敛性的情况下使用近似线性系统求解？何种误差界是充分的？

主要发现

• 该论文首次构造出针对多面体 {x : Ax ≥ b} 的 Õ(rank(A))-自洽障碍函数，且可在多项式时间内计算，解决了 Nesterov 和 Nemirovski（1994）提出的开放问题。
• 该算法在 Õ(√rank(A) log(1/ε)) 次迭代内计算出任意线性规划问题的 ε-近似解，每次迭代仅需 Õ(1) 次线性系统求解和 Õ(nnz(A)) 的附加工作量。
• 对于最大流问题，该方法给出了 Õ(|E|√|V| log U) 时间复杂度的算法，优于此前最优的 O(|E| min{|E|^{1/2}, |V|^{2/3}} log(|V|²/|E|) log U)。
• 在稠密单位容量图中，该算法优于 Mądry（2013）提出的先前最优 Õ(|E|^{10/7}) 时间复杂度。
• 通过集成最先进的回归与线性系统求解技术，该算法实现了 Õ((nnz(A) + rank(A)^ω)√rank(A) log(1/ε)) 的运行时间。
• 该方法具有可并行性，在 PRAM 模型中达到 Õ(√rank(A) log(1/ε)) 的深度，且总工作量为多项式时间，是首个实现最优深度与工作量的此类算法。