[论文解读] On the Efficiency of Entropic Regularized Algorithms for Optimal Transport

Tianyi Lin, Nhat Ho+1 more|arXiv (Cornell University)|Jun 1, 2019

RNA Research and Splicing被引用 5

一句话总结

本文改进了熵正则化最优传输算法的复杂度界，提出了 APDAMD——一种广义的自适应原始-对偶加速方法，其复杂度为 $\widetilde{O}(n^2\sqrt{\delta}\varepsilon^{-1})$，并提出了一种确定性的加速 Sinkhorn 变体，复杂度为 $\widetilde{O}(n^{7/3}\varepsilon^{-4/3})$。本文纠正了先前工作中无效的复杂度界，并验证了 Greenkhorn、APDAMD 和加速 Sinkhorn 的优越实际性能。

ABSTRACT

We present several new complexity results for the entropic regularized algorithms that approximately solve the optimal transport (OT) problem between two discrete probability measures with at most $n$ atoms. First, we improve the complexity bound of a greedy variant of Sinkhorn, known as extit{Greenkhorn}, from $\widetilde{O}(n^2\varepsilon^{-3})$ to $\widetilde{O}(n^2\varepsilon^{-2})$. Notably, our result can match the best known complexity bound of Sinkhorn and help clarify why Greenkhorn significantly outperforms Sinkhorn in practice in terms of row/column updates as observed by~\citet{Altschuler-2017-Near}. Second, we propose a new algorithm, which we refer to as extit{APDAMD} and which generalizes an adaptive primal-dual accelerated gradient descent (APDAGD) algorithm~\citep{Dvurechensky-2018-Computational} with a prespecified mirror mapping $ϕ$. We prove that APDAMD achieves the complexity bound of $\widetilde{O}(n^2\sqrtδ\varepsilon^{-1})$ in which $δ>0$ stands for the regularity of $ϕ$. In addition, we show by a counterexample that the complexity bound of $\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$ proved for APDAGD before is invalid and give a refined complexity bound of $\widetilde{O}(n^{5/2}\varepsilon^{-1})$. Further, we develop a extit{deterministic} accelerated variant of Sinkhorn via appeal to estimated sequence and prove the complexity bound of $\widetilde{O}(n^{7/3}\varepsilon^{-4/3})$. As such, we see that accelerated variant of Sinkhorn outperforms Sinkhorn and Greenkhorn in terms of $1/\varepsilon$ and APDAGD and accelerated alternating minimization (AAM)~\citep{Guminov-2021-Combination} in terms of $n$. Finally, we conduct the experiments on synthetic and real data and the numerical results show the efficiency of Greenkhorn, APDAMD and accelerated Sinkhorn in practice.

研究动机与目标

• 将 Greenkhorn 的理论复杂度界从 $\widetilde{O}(n^2\varepsilon^{-3})$ 改进至 $\widetilde{O}(n^2\varepsilon^{-2})$。
• 提出一种新算法 APDAMD，其为 APDAGD 的推广，且使用预设的镜像映射 $\phi$。
• 纠正先前对 APDAGD 复杂度界 $\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$ 的声称，并建立更精细的复杂度界 $\widetilde{O}(n^{5/2}\varepsilon^{-1})$。
• 通过使用估计序列技术，开发一种确定性的加速 Sinkhorn 变体，实现 $\widetilde{O}(n^{7/3}\varepsilon^{-4/3})$ 的复杂度。
• 通过在合成数据和真实数据（包括 MNIST）上的实验，验证 Greenkhorn、APDAMD 和加速 Sinkhorn 的效率。

提出的方法

• 作者通过引入预设的镜像映射 $\phi$，将 APDAGD 算法推广为 APDAMD，从而构建出更具灵活性和正则化的优化框架。
• 证明了 APDAMD 的复杂度界为 $\widetilde{O}(n^2\sqrt{\delta}\varepsilon^{-1})$，其中 $\delta > 0$ 衡量映射 $\phi$ 的正则性，优于先前结果。
• 构造了一个反例，以证伪先前对 APDAGD 复杂度界 $\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$ 的声称，并由此推导出更精细的复杂度界 $\widetilde{O}(n^{5/2}\varepsilon^{-1})$。
• 通过估计序列技术，开发了一种确定性的加速 Sinkhorn 变体，实现了在 $1/\varepsilon$ 方面更优的收敛性。
• 理论分析结合了原始-对偶方法与熵正则化，利用镜像下降和自适应步长的性质。
• 在合成数据和 MNIST 图像上进行了实证验证，通过行/列更新次数、竞争力比和运行时间等指标，评估了不同正则化参数下的性能表现。

实验结果

研究问题

• RQ1 Greenkhorn 的复杂度界能否被改进至与 Sinkhorn 相当？这是否能解释其在行/列更新中实际性能更优的原因？
• RQ2 APDAGD 的正确复杂度界是什么？该界是否在一般条件下成立，还是需要进一步修正？
• RQ3 能否通过估计序列技术构造出 Sinkhorn 的确定性加速变体？其复杂度达到何种水平？
• RQ4 在鲁棒性和收敛速度方面，APDAMD 与 APDAGD 及其他方法相比表现如何？
• RQ5 所提出的算法——Greenkhorn、APDAMD 和加速 Sinkhorn——是否在合成数据和真实世界数据上均表现出一致的实证优势？

主要发现

• Greenkhorn 的复杂度界从 $\widetilde{O}(n^2\varepsilon^{-3})$ 提升至 $\widetilde{O}(n^2\varepsilon^{-2})$，与 Sinkhorn 的最优已知复杂度界一致。
• 先前声称的 APDAGD 复杂度界 $\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$ 无效，本文建立了更精确的复杂度界 $\widetilde{O}(n^{5/2}\varepsilon^{-1})$。
• APDAMD 实现了 $\widetilde{O}(n^2\sqrt{\delta}\varepsilon^{-1})$ 的复杂度，其中 $\delta > 0$ 衡量镜像映射 $\phi$ 的正则性，是对 APDAGD 的推广，并提供了更强的理论保证。
• 通过估计序列技术，开发出一种确定性的加速 Sinkhorn 变体，复杂度为 $\widetilde{O}(n^{7/3}\varepsilon^{-4/3})$，在 $n$ 和 $1/\varepsilon$ 方面均优于 Sinkhorn、Greenkhorn、APDAGD 和 AAM。
• 在 MNIST 和合成数据上的实验结果表明，Greenkhorn、APDAMD 和加速 Sinkhorn 在实际中均表现高效，且 APDAMD 比 APDAGD 和 GCPB 更具鲁棒性。
• 数值结果表明，加速 Sinkhorn 在 $\varepsilon$ 相关的收敛速率上始终优于 Sinkhorn 和 Greenkhorn，且在 $n$ 相关指标上优于 APDAGD 和 AAM。