[论文解读] Solving Linear Programs in the Current Matrix Multiplication Time

Michael B. Cohen, Yin Tat Lee+1 more|arXiv (Cornell University)|Oct 18, 2018

Stochastic Gradient Optimization Techniques参考文献 44被引用 21

一句话总结

该论文提出了一种新颖的随机中心路径方法，可在时间 $ O^*(n^\rho \text{ poly}(\text{log}(n/\rho))) $ 内求解线性规划问题，其中 $ \rho = \min(\omega, 2.5 - \alpha/2, 2 + 1/6) $，$ \omega $ 为矩阵乘法指数，$ \alpha $ 为其对偶指数。该方法通过在 $ \ell_2 $-乘法权重更新下维护一个投影矩阵，并在每次迭代中仅更新 $ \widetilde{O}(\sqrt{n}) $ 个坐标，实现了接近最优的总坐标更新次数。

ABSTRACT

This paper shows how to solve linear programs of the form $\min_{Ax=b,x\geq0} c^ op x$ with $n$ variables in time $$O^*((n^ω+n^{2.5-α/2}+n^{2+1/6}) \log(n/δ))$$ where $ω$ is the exponent of matrix multiplication, $α$ is the dual exponent of matrix multiplication, and $δ$ is the relative accuracy. For the current value of $ω\sim2.37$ and $α\sim0.31$, our algorithm takes $O^*(n^ω \log(n/δ))$ time. When $ω= 2$, our algorithm takes $O^*(n^{2+1/6} \log(n/δ))$ time. Our algorithm utilizes several new concepts that we believe may be of independent interest: $\bullet$ We define a stochastic central path method. $\bullet$ We show how to maintain a projection matrix $\sqrt{W}A^{ op}(AWA^{ op})^{-1}A\sqrt{W}$ in sub-quadratic time under $\ell_{2}$ multiplicative changes in the diagonal matrix $W$.

研究动机与目标

• 突破自 Vaidya 1989 年结果以来长期存在的求解一般线性规划问题的 $ O^*(n^{2.5}) $ 时间复杂度瓶颈。
• 利用矩阵乘法复杂度的最新进展，实现更快的线性规划算法，尤其适用于稠密实例。
• 设计一种随机内点法，减少每次迭代的坐标更新次数，同时保持收敛性保证。
• 提出一种新框架，实现在 $ \ell_2 $-乘法权重变化下以次二次时间维护投影矩阵。
• 建立线性规划的自然时间复杂度下限，与求解线性系统的最优时间复杂度相匹配。

提出的方法

• 提出一种随机中心路径方法，将每次迭代的坐标更新次数从 $ O(n) $ 降低至 $ \widetilde{O}(\sqrt{n}) $，同时保持 $ O^*(\sqrt{n}) $ 次总迭代。
• 开发一种技术，实现在 $ \ell_2 $-乘法权重更新下以次二次时间维护投影矩阵 $ \sqrt{W}A^\top (AWA^\top)^{-1} A\sqrt{W} $。
• 采用一种具有特定性质的势函数 $ \psi $：对称，关于 $ |x| $ 非减，且导数与二阶导数有界，以控制收敛性。
• 采用基于抽样压缩的方法，每次迭代仅抽样和更新 $ \widetilde{O}(\sqrt{n}) $ 个坐标，显著降低每次迭代的代价。
• 应用一种改进的短步长中心路径方法，采用允许总步数为 $ O^*(n) $ 的步长，同时保持每步代价较低。
• 利用矩阵乘法的对偶指数 $ \alpha $ 来优化矩阵乘法代价与迭代次数之间的权衡。

Figure 1: ClassicalStep happens with $n^{-2}$ probability

实验结果

研究问题

• RQ1 能否利用现代矩阵乘法技术改进稠密线性规划问题的 $ O^*(n^{2.5}) $ 时间复杂度？
• RQ2 能否在 $ \ell_2 $-乘法权重变化下以次二次时间维护投影矩阵？
• RQ3 能否通过随机化中心路径方法的变体，在不牺牲收敛性的情况下减少每次迭代的坐标更新次数？
• RQ4 内点法中，矩阵乘法代价与迭代次数之间的最优权衡是什么？
• RQ5 当前的矩阵乘法指数 $ \omega $ 是否设定了线性规划算法时间复杂度的根本极限？

主要发现

• 该算法在 $ \omega \sim 2.38 $ 和 $ \alpha \sim 0.31 $ 的当前参数下，以 $ O^*(n^\omega \log(n/\delta)) $ 时间求解线性规划问题，与求解线性系统的最优时间复杂度一致。
• 当 $ \omega = 2 $ 时，时间复杂度变为 $ O^*(n^{2+1/6} \log(n/\delta)) $，优于先前的 $ O^*(n^{2.5}) $ 上界。
• 该方法实现了在 $ \ell_2 $-乘法权重更新下以次二次时间维护投影矩阵，这是实现加速的关键技术突破。
• 通过每次迭代仅更新 $ \widetilde{O}(\sqrt{n}) $ 个坐标，总坐标更新次数被减少至 $ O^*(n) $，接近最优。
• 该框架具有足够的通用性，可扩展至其他问题，包括经验风险最小化、切割平面法和半定规划。
• 该结果确立了线性规划的自然时间复杂度下限，与目前已知最优的矩阵乘法复杂度相一致。

Figure 2: $\psi(x)$ , $\psi(x)^{\prime}$ and $\psi(x)^{\prime\prime}$ . For $\epsilon_{\mathrm{mp}}\in(0,1)$ .