[论文解读] On the Efficiency of the Sinkhorn and Greenkhorn Algorithms and Their Acceleration for Optimal Transport

Tianyi Lin, Nhat Ho+1 more|arXiv (Cornell University)|Jun 1, 2019

Stochastic Gradient Optimization Techniques参考文献 49被引用 14

一句话总结

本文为正则化最优传输算法提出了改进的复杂度界，表明Greenkhorn算法实现了$×sim\mathcal{O}(n^2\varepsilon^{-2})$的复杂度，与Sinkhorn的最佳已知界一致，并解释了其在实验中的优越性。此外，本文进一步提出了加速变体，包括一种自适应原始-对偶镜像下降算法，其复杂度为$×sim\mathcal{O}(n^{7/3}\varepsilon^{-1})$，在$\varepsilon$依赖性方面优于先前的方法。

ABSTRACT

We present new complexity results for several algorithms that approximately solve the regularized optimal transport (OT) problem between two discrete probability measures with at most $n$ atoms. First, we show that a greedy variant of the classical Sinkhorn algorithm, known as the extit{Greenkhorn} algorithm, achieves the complexity bound of $\widetilde{\mathcal{O}}(n^2\varepsilon^{-2})$, which improves the best known bound $\widetilde{\mathcal{O}}(n^2\varepsilon^{-3})$. Notably, this matches the best known complexity bound of the Sinkhorn algorithm and explains the superior performance of the Greenkhorn algorithm in practice. Furthermore, we generalize an adaptive primal-dual accelerated gradient descent (APDAGD) algorithm with mirror mapping $\phi$ and show that the resulting extit{adaptive primal-dual accelerated mirror descent} (APDAMD) algorithm achieves the complexity bound of $\widetilde{\mathcal{O}}(n^2\sqrt{\delta}\varepsilon^{-1})$ where $\delta>0$ depends on $\phi$. We point out that an existing complexity bound for the APDAGD algorithm is not valid in general using a simple counterexample and then establish the complexity bound of $\widetilde{\mathcal{O}}(n^{5/2}\varepsilon^{-1})$ by exploiting the connection between the APDAMD and APDAGD algorithms. Moreover, we introduce accelerated Sinkhorn and Greenkhorn algorithms that achieve the complexity bound of $\widetilde{\mathcal{O}}(n^{7/3}\varepsilon^{-1})$, which improves on the complexity bounds $\widetilde{\mathcal{O}}(n^2\varepsilon^{-2})$ of Sinkhorn and Greenkhorn algorithms in terms of $\varepsilon$. Experimental results on synthetic and real datasets demonstrate the favorable performance of new algorithms in practice.

研究动机与目标

• 建立Greenkhorn算法的更紧致复杂度界，该算法在最优传输中实证表现优于标准Sinkhorn算法。
• 修正并推广一种现有的自适应原始-对偶加速梯度下降（APDAGD）算法，引入镜像映射。
• 开发并分析Sinkhorn与Greenkhorn的加速版本，以在精度参数$\varepsilon$方面提升收敛速率。
• 对APDAMD算法进行严格的复杂度分析，并通过反例澄清先前关于APDAGD复杂度界的有效性。
• 通过在合成数据集和真实世界数据集上的实验，验证理论改进的有效性。

提出的方法

• 提出Sinkhorn的一个贪心变体，命名为Greenkhorn，该算法在每次迭代中仅更新最不平衡的对偶变量，从而减少计算浪费。
• 引入使用一般镜像映射$\phi$的自适应原始-对偶加速镜像下降（APDAMD）算法，实现灵活且自适应的更新。
• 通过提供一个反例，纠正先前对APDAGD算法复杂度界声称的错误，证明其在一般设置下不成立。
• 通过其与APDAGD的联系，为APDAMD建立新的复杂度界$×sim\mathcal{O}(n^{5/2}\varepsilon^{-1})$。
• 利用Nesterov风格的加速技术，设计加速版的Sinkhorn与Greenkhorn算法，实现$×sim\mathcal{O}(n^{7/3}\varepsilon^{-1})$的复杂度。
• 基于凸优化与对偶性理论分析，推导在正则化最优传输设置下的收敛速率。

实验结果

研究问题

• RQ1 Greenkhorn算法的真实复杂度是多少？其复杂度是否与标准Sinkhorn算法相当或更优？
• RQ2 APDAGD算法所声称的复杂度界是否可普遍适用？是否存在其不成立的条件？
• RQ3 镜像下降如何被调整以在正则化最优传输问题中实现加速收敛？
• RQ4 加速的理论优势能否扩展到Greenkhorn框架？其结果的复杂度界是什么？
• RQ5 所提出的加速算法在实践中是否优于现有方法，特别是在$\varepsilon$依赖性方面？

主要发现

• Greenkhorn算法实现了$×sim\mathcal{O}(n^2\varepsilon^{-2})$的复杂度界，与标准Sinkhorn算法的最佳已知界一致。
• APDAMD算法实现了$×sim\mathcal{O}(n^2\sqrt{\delta}\varepsilon^{-1})$的复杂度界，其中$\delta>0$依赖于镜像映射$\phi$，从而推广了先前的结果。
• 通过提供一个反例，否定了先前对APDAGD算法复杂度界的声称，表明其在一般情况下不成立。
• 通过将APDAMD与APDAGD关联，本文为APDAMD框架建立了新的复杂度界$×sim\mathcal{O}(n^{5/2}\varepsilon^{-1})$。
• 所提出的加速版Sinkhorn与Greenkhorn算法实现了$×sim\mathcal{O}(n^{7/3}\varepsilon^{-1})$的复杂度，相较于标准变体的$×sim\mathcal{O}(n^2\varepsilon^{-2})$复杂度，在$\varepsilon$依赖性方面有所改进。
• 在合成数据集和真实数据集上的实验结果表明，新提出的加速算法在实际中实现了更快的收敛速度和更优的性能。