[论文解读] On the Efficiency of Sinkhorn and Greenkhorn and Their Acceleration for Optimal Transport

Tianyi Lin, Nhat Ho+1 more|arXiv (Cornell University)|Jun 1, 2019

Stochastic Gradient Optimization Techniques参考文献 57被引用 5

一句话总结

该论文改进了最优传输算法的复杂度界，表明Greenkhorn达到$×(n^2\varepsilon^{-2})$的复杂度——与Sinkhorn一致；同时提出一种确定性加速Sinkhorn算法，复杂度为$×(n^{7/3}\varepsilon^{-4/3})$，在$1/\varepsilon$和$n$依赖性上均优于先前方法。该工作还修正并细化了APDAGD的复杂度界，并提出一种基于镜像映射的新型加速变体。

ABSTRACT

We present several new complexity results for the algorithms that approximately solve the optimal transport (OT) problem between two discrete probability measures with at most $n$ atoms. First, we improve the complexity bound of a greedy variant of the Sinkhorn algorithm, known as extit{Greenkhorn} algorithm, from $\widetilde{O}(n^2\varepsilon^{-3})$ to $\widetilde{O}(n^2\varepsilon^{-2})$. Notably, this matches the best known complexity bound of the Sinkhorn algorithm and sheds the light to superior practical performance of the Greenkhorn algorithm. Second, we generalize an adaptive primal-dual accelerated gradient descent (APDAGD) algorithm~\citep{Dvurechensky-2018-Computational} with mirror mapping $\phi$ and prove that the resulting APDAMD algorithm achieves the complexity bound of $\widetilde{O}(n^2\sqrt{\delta}\varepsilon^{-1})$ where $\delta>0$ refers to the regularity of $\phi$. We demonstrate that the complexity bound of $\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$ is invalid for the APDAGD algorithm and establish a new complexity bound of $\widetilde{O}(n^{5/2}\varepsilon^{-1})$. Moreover, we propose a extit{deterministic} accelerated Sinkhorn algorithm and prove that it achieves the complexity bound of $\widetilde{O}(n^{7/3}\varepsilon^{-4/3})$ by incorporating an estimate sequence. Therefore, the accelerated Sinkhorn algorithm outperforms the Sinkhorn and Greenkhorn algorithms in terms of $1/\varepsilon$ and the APDAGD and accelerated alternating minimization~\citep{Guminov-2021-Combination} algorithms in terms of $n$. Finally, we conduct experiments on synthetic data and real images with the proposed algorithms in the paper and demonstrate their efficiency via numerical results.

研究动机与目标

• 改进离散概率测度之间最优传输的Greenkhorn算法的理论复杂度界。
• 推广并细化具有任意镜像映射$\phi$的自适应原始-对偶加速梯度下降（APDAGD）的复杂度分析。
• 为APDAGD建立更紧致且正确的复杂度界，纠正先前声称的$\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$界。
• 通过在估计序列中引入方法，设计一种确定性加速Sinkhorn算法，实现在$n$和$\varepsilon$方面的改进收敛性。
• 通过在合成数据和真实图像上的实验，验证理论改进的有效性。

提出的方法

• 提出一种带镜像映射$\phi$的广义加速原始-对偶算法（APDAMD），证明其复杂度界为$\widetilde{O}(n^2\sqrt{\delta}\varepsilon^{-1})$，其中$\delta$衡量$\phi$的正则性。
• 修订并纠正APDAGD的复杂度界，表明先前声称的$\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$无效，并确立$\widetilde{O}(n^{5/2}\varepsilon^{-1})$为正确界。
• 通过在Sinkhorn框架中引入估计序列，提出一种确定性加速Sinkhorn算法，提升收敛速度。
• 采用精细化分析方法研究Greenkhorn算法，将其复杂度从$\widetilde{O}(n^2\varepsilon^{-3})$降低至$\widetilde{O}(n^2\varepsilon^{-2})$，与标准Sinkhorn算法的理论界一致。
• 在APDAMD框架中采用镜像下降和自适应步长，确保在镜像映射$\phi$的一般正则性条件下收敛。
• 通过在合成分布和真实图像数据集上的数值实验，验证理论主张的性能。

实验结果

研究问题

• RQ1 能否将Greenkhorn算法的复杂度界改进至与标准Sinkhorn算法一致？
• RQ2 对于具有通用镜像映射$\phi$的APDAGD算法，其正确且最紧致的复杂度界是什么？
• RQ3 能否设计一种确定性加速的Sinkhorn算法变体，使其在$n$和$\varepsilon$方面具有可证明更优的收敛性？
• RQ4 镜像映射$\phi$的正则性参数$\delta$如何影响加速原始-对偶方法的收敛速率？
• RQ5 改进的理论复杂度界是否能在合成数据和真实世界最优传输问题中转化为实际性能提升？

主要发现

• Greenkhorn算法实现了$\widetilde{O}(n^2\varepsilon^{-2})$的复杂度界，与标准Sinkhorn算法的最佳已知界一致。
• 先前声称的APDAGD复杂度界$\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$无效，正确界为$\widetilde{O}(n^{5/2}\varepsilon^{-1})$。
• 所提出的APDAMD算法实现了$\widetilde{O}(n^2\sqrt{\delta}\varepsilon^{-1})$的复杂度，其中$\delta$量化了镜像映射$\phi$的正则性。
• 确定性加速Sinkhorn算法实现了$\widetilde{O}(n^{7/3}\varepsilon^{-4/3})$的复杂度，相较于Sinkhorn和Greenkhorn在$1/\varepsilon$依赖性上均有改进。
• 加速Sinkhorn算法在$n$依赖性上优于APDAGD和加速交替最小化，展现出更好的可扩展性。
• 在合成数据和真实图像上的数值实验验证了所提算法在效率和实际性能上的优越性。