[论文解读] Path Finding I :Solving Linear Programs with Õ(sqrt(rank)) Linear System Solves

Yin Tat Lee, Aaron Sidford|arXiv (Cornell University)|Dec 23, 2013

Advanced Optimization Algorithms Research参考文献 4被引用 12

一句话总结

该论文提出了一种新型内点法，可在 Õ(√rank(A)) 次迭代内求解线性规划问题，每次迭代仅需 Õ(1) 次线性系统求解和近乎线性的工作量。该方法首次在多对数因子范围内达到 Nesterov-Nemirovski 障碍极限的理论最优迭代次数，通过加速线性系统求解和预条件化技术显著提升了运行时间。

ABSTRACT

In this paper we present a new algorithm for solving linear programs that requires only $ ilde{O}(\sqrt{rank(A)}L)$ iterations to solve a linear program with $m$ constraints, $n$ variables, and constraint matrix $A$, and bit complexity $L$. Each iteration of our method consists of solving $ ilde{O}(1)$ linear systems and additional nearly linear time computation. Our method improves upon the previous best iteration bound by factor of $ ildeΩ((m/rank(A))^{1/4})$ for methods with polynomial time computable iterations and by $ ildeΩ((m/rank(A))^{1/2})$ for methods which solve at most $ ilde{O}(1)$ linear systems in each iteration. Our method is parallelizable and amenable to linear algebraic techniques for accelerating the linear system solver. As such, up to polylogarithmic factors we either match or improve upon the best previous running times in both depth and work for different ratios of $m$ and $rank(A)$. Moreover, our method matches up to polylogarithmic factors a theoretical limit established by Nesterov and Nemirovski in 1994 regarding the use of a "universal barrier" for interior point methods, thereby resolving a long-standing open question regarding the running time of polynomial time interior point methods for linear programming.

研究动机与目标

• 弥合理论迭代次数上界 O(√rank(A))L 与现有最优多项式时间内点法之间的长期差距。
• 开发一种路径跟踪算法，实现该最优迭代次数，同时保持每次迭代的多项式时间可计算性。
• 通过将每次迭代的线性系统求解次数减少至 Õ(1)，实现更快的线性规划求解，即使约束矩阵 A 的秩较低亦可。
• 实现对 nnz(A) 的近乎线性依赖，并在不同 m 和 rank(A) 的场景下改进深度与工作复杂度。

提出的方法

• 提出一种新型路径跟踪技术——加权路径寻找，通过自适应权重修改标准对数障碍函数以控制收敛性。
• 通过引入依赖于比值 β = n/m 的权重函数，定义加权中心路径，从而控制条件数和收敛速率。
• 利用两个系统矩阵（AᵀS⁻¹WS⁻¹A 和 AᵀS⁻¹W^αS⁻¹A）之间的谱相似性，减少需求解的不同线性系统的数量。
• 应用预条件化和对对角矩阵 S 和 W 的动态更新，利用其在迭代间缓慢变化的特性以加速系统求解。
• 采用定理 30，以摊销 Õ(mn^{ω−1}/r + n² + C^ω r^{2ω} + C^{ω−1} n r^ω) 时间每迭代求解线性系统，其中 r 为更新的分组大小。
• 结合 Vaidya (1996) 的加速技术与近期回归算法，实现对 nnz(A) 的近乎线性依赖，并提升整体运行时间。

实验结果

研究问题

• RQ1 内点法的迭代复杂度能否降低至 Õ(√rank(A))L，与 Nesterov 和 Nemirovski 于 1994 年建立的通用障碍下界相匹配？
• RQ2 能否在每次迭代仅求解 Õ(1) 个线性系统的情况下实现该最优迭代次数？
• RQ3 能否设计一种路径跟踪算法，保持多项式时间可计算性并实现对 nnz(A) 的近乎线性工作量？
• RQ4 如何利用线性系统矩阵的动态变化来降低每次迭代的摊销成本？

主要发现

• 该算法实现了 Õ(√rank(A)L) 次迭代，与 Nesterov 和 Nemirovski 于 1994 年建立的理论极限在多对数因子范围内一致。
• 每次迭代仅需求解 Õ(1) 个线性系统，并进行额外的 Õ(nnz(A)) 工作，具有高度可并行化和高效性。
• 总运行时间为 Õ((nnz(A) + rank(A)^ω)√rank(A)L)，这是在固定 n 的情况下首次实现对 nnz(A) 的近乎线性依赖。
• 当 m = Õ(n) 时，该算法优于此前最优运行时间 O(m^{1.5}nL)，对一般线性规划实现了可证明的加速。
• 该方法首次实现了 Õ(√rank(A)L) 深度的多项式工作线性规划算法，提升了并行效率。
• 通过加权路径寻找与动态预条件化的结合，实现了更快的摊销线性系统求解，每次迭代的成本被限制在 Õ(mn^{ω−1}/r + n² + β^{−ω}r^{2ω} + β^{−(ω−1)}nr^ω) 以内。