[论文解读] Towards Optimal Running Times for Optimal Transport

José Blanchet, Arun Jambulapati+2 more|arXiv (Cornell University)|Oct 17, 2018

Complexity and Algorithms in Graphs被引用 4

一句话总结

本文提出了两种新算法，用于在 $Ϫ(n^2 \|C\|_{\infty}/\epsilon)$ 时间内近似离散概率分布之间的最优传输距离，优于先前的界限。通过将最优传输问题约化为打包线性规划（packing linear programs）和矩阵平衡问题，作者实现了更快的、近乎线性的时间复杂度，并表明进一步的改进将意味着二分图匹配算法的突破性进展。

ABSTRACT

In this work, we provide faster algorithms for approximating the optimal transport distance, e.g. earth mover's distance, between two discrete probability distributions $μ, ν\in Δ^n$. Given a cost function $C : [n] imes [n] o \mathbb{R}_{\geq 0}$ where $C(i,j) \leq 1$ quantifies the penalty of transporting a unit of mass from $i$ to $j$, we show how to compute a coupling $X$ between $r$ and $c$ in time $\widetilde{O}\left(n^2 /ε ight)$ whose expected transportation cost is within an additive $ε$ of optimal. This improves upon the previously best known running time for this problem of $\widetilde{O}\left( ext{min}\left\{ n^{9/4}/ε, n^2/ε^2 ight\} ight)$. We achieve our results by providing reductions from optimal transport to canonical optimization problems for which recent algorithmic efforts have provided nearly-linear time algorithms. Leveraging nearly linear time algorithms for solving packing linear programs and for solving the matrix balancing problem, we obtain two separate proofs of our stated running time. Further, one of our algorithms is easily parallelized and can be implemented with depth $\widetilde{O}(1/ε)$. Moreover, we show that further algorithmic improvements to our result would be surprising in the sense that any improvement would yield an $o(n^{2.5})$ algorithm for extit{maximum cardinality bipartite matching}, for which currently the only known algorithms for achieving such a result are based on fast-matrix multiplication.

研究动机与目标

• 解决在机器学习和统计应用中计算最优传输距离所需更快算法的需求。
• 改进计算离散最优传输问题 $ε$-最优解的最坏时间复杂度。
• 提出一种基于约化的途径，利用理论计算机科学中经典问题的近乎线性时间算法。
• 证明对所提时间复杂度的进一步改进将意味着最大基数二分图匹配问题的 $o(n^{2.5})$ 算法。
• 实现串行与并行算法的改进，包括并行变体的深度 $\widetilde{O}(\|C\|_{\infty}/\epsilon)$。

提出的方法

• 将最优传输问题约化为打包线性规划（PLP），并使用近乎线性时间的 PLP 求解器，得到一种算法。
• 将最优传输问题约化为矩阵平衡问题，并使用近乎线性时间的矩阵平衡求解器，得到第二种算法。
• 使用黑箱约化框架，将最优传输问题转换为可由最先进的迭代求解器处理的形式。
• 应用随机化和确定性舍入技术，将分数解转换为具有有界误差的整数匹配。
• 利用已知的近乎线性时间算法求解打包线性规划和矩阵平衡问题，以实现最终的时间复杂度界限。
• 使用归约的困难性结果表明，任何对 $\widetilde{O}(n^2 \|C\|_{\infty}/\epsilon)$ 时间复杂度的改进都将意味着最大基数二分图匹配问题的 $o(n^{2.5})$ 算法。

实验结果

研究问题

• RQ1 能否将计算 $\epsilon$-最优最优传输解的时间复杂度改进至当前最优的 $\widetilde{O}(\min\{n^{9/4}\sqrt{\|C\|_{\infty}}/\epsilon, n^2\|C\|_{\infty}/\epsilon^2\})$ 以下？
• RQ2 是否可以通过约化为打包线性规划或矩阵平衡等经典问题，实现最优传输的近乎线性时间算法？
• RQ3 最优传输复杂度的改进与二分图匹配算法突破之间存在何种关系？
• RQ4 所提出的算法能否高效并行化？可实现的并行深度是多少？
• RQ5 在复杂度和实用性方面，约化为打包线性规划和矩阵平衡的方案有何异同？

主要发现

• 本文实现了计算 $\epsilon$-最优传输耦合的运行时间 $\widetilde{O}(n^2 \|C\|_{\infty}/\epsilon)$，优于先前最优的 $\widetilde{O}(\min\{n^{9/4}\sqrt{\|C\|_{\infty}}/\epsilon, n^2\|C\|_{\infty}/\epsilon^2\})$。
• 所提出的算法之一实现了 $\widetilde{O}(\|C\|_{\infty}/\epsilon)$ 的并行深度，相比之前最优的并行深度提升了 $1/\epsilon$ 倍。
• 作者证明，任何对 $\widetilde{O}(n^2 \|C\|_{\infty}/\epsilon)$ 运行时间的改进，都将导致最大基数二分图匹配问题的 $o(n^{2.5})$ 算法。
• 困难性结果表明，进一步的改进将需要图论算法的突破，因为若无快速矩阵乘法，目前尚无此类算法。
• 约化为打包线性规划和矩阵平衡是黑箱的，允许使用最先进的近乎线性时间求解器，从而实现新的复杂度界限。
• 结果对一般代价函数具有鲁棒性，无需度量假设，使其适用于广泛的机器学习和统计应用。