[论文解读] On Unbalanced Optimal Transport: An Analysis of Sinkhorn Algorithm

Khiem Pham, Khang Le+3 more|arXiv (Cornell University)|Feb 9, 2020

Markov Chains and Monte Carlo Methods参考文献 26被引用 18

一句话总结

本文对求解熵正则化不平衡最优传输（UOT）的Sinkhorn算法进行了计算复杂度分析，证明了其复杂度界为$\widetilde{\mathcal{O}}(n^2 / \varepsilon)$，优于标准最优传输的最优已知界。该分析利用对偶变量更新的几何收敛性以及原始解的缩放特性，表明由于边际约束的放松，UOT可实现更快的收敛速度。

ABSTRACT

We provide a computational complexity analysis for the Sinkhorn algorithm that solves the entropic regularized Unbalanced Optimal Transport (UOT) problem between two measures of possibly different masses with at most $n$ components. We show that the complexity of the Sinkhorn algorithm for finding an $\varepsilon$-approximate solution to the UOT problem is of order $\widetilde{\mathcal{O}}(n^2/ \varepsilon)$, which is near-linear time. To the best of our knowledge, this complexity is better than the complexity of the Sinkhorn algorithm for solving the Optimal Transport (OT) problem, which is of order $\widetilde{\mathcal{O}}(n^2/\varepsilon^2)$. Our proof technique is based on the geometric convergence of the Sinkhorn updates to the optimal dual solution of the entropic regularized UOT problem and some properties of the primal solution. It is also different from the proof for the complexity of the Sinkhorn algorithm for approximating the OT problem since the UOT solution does not have to meet the marginal constraints.

研究动机与目标

• 建立求解具有不同质量的离散测度之间熵正则化不平衡最优传输（UOT）的Sinkhorn算法的计算复杂度。
• 分析UOT中边际约束的缺失如何影响收敛速度，相较于标准最优传输（OT）。
• 推导出达到$\varepsilon$-近似解所需迭代次数的紧致上界。
• 通过在合成数据和MNIST上的实验，验证理论复杂度界。
• 探讨该结果对未来扩展的启示，例如多边际UOT和UOT重心问题。

提出的方法

• 利用熵正则化UOT问题中对偶变量更新的几何衰减率，对Sinkhorn算法的收敛性进行理论分析。
• 基于原始解的缩放特性以及代价矩阵$C$的结构，推导出上界。
• 在UOT公式中使用Kullback-Leibler（KL）散度作为惩罚函数，通过Sinkhorn迭代实现高效计算。
• 应用对数和渐近近似，推导出具有$\widetilde{\mathcal{O}}(n^2 / \varepsilon)$量级的复杂度界。
• 使用合成数据和MNIST图像进行实验验证，比较理论迭代次数（$k_f$）与实际观测迭代次数（$k_c$）。
• 分析对偶变量差值的收敛比$\|v^k - v^*\|_\infty / \|u^{k+1} - u^*\|_\infty$，以评估理论边界的紧致性。

实验结果

研究问题

• RQ1 Sinkhorn算法在以$\varepsilon$-精度近似不平衡最优传输时的计算复杂度是多少？
• RQ2 UOT中边际约束的缺失如何影响收敛速度，相较于标准OT？
• RQ3 UOT的理论复杂度界是否可以比标准OT更紧致？如果是，原因是什么？
• RQ4 复杂度界中的对数项如何与实际收敛行为相关联？
• RQ5 理论迭代次数在多大程度上能够预测在MNIST等真实世界数据集上的实际性能？

主要发现

• 不平衡最优传输的Sinkhorn算法实现了$\widetilde{\mathcal{O}}(n^2 / \varepsilon)$的复杂度界，优于标准OT的$\widetilde{\mathcal{O}}(n^2 / \varepsilon^2)$界。
• 复杂度的改善源于UOT中边际约束的放松，这为更新提供了更大的自由度，从而加速了收敛。
• 在合成数据上的实验结果表明，理论与实际迭代次数之比$k_f / k_c$随着$\varepsilon$从1减小到$10^{-4}$，从约18下降至约8，表明在极限情况下理论界更加紧致。
• 在MNIST数据集上，实际的对数迭代次数$\log(k_c)$与理论值$\log(k_f)$高度吻合，证实了复杂度界的正确性。
• 对偶变量差值的观测收敛比始终接近理论几何因子$\frac{\tau + \eta}{\tau} = 1.1$，表明所推导的不等式几乎达到紧致性。
• 复杂度界中对数项的存在归因于中间不等式中的次优性，未来通过更紧致的分析可能进一步改进。