[论文解读] Sinkhorn Algorithm as a Special Case of Stochastic Mirror Descent

Konstantin Mishchenko|arXiv (Cornell University)|Sep 16, 2019

Stochastic Gradient Optimization Techniques参考文献 24被引用 4

一句话总结

该论文表明，当使用Kullback-Leibler散度作为镜像映射和目标函数时，Sinkhorn算法是随机镜像下降的一个特例。关键贡献在于提出了一种类理论等价关系，从而可开发出新的最优传输方法，包括非随机的“Pinkhorn”变体以及通过相对光滑性实现的加速变体，同时将Sinkhorn算法扩展至多于两边缘约束的情形。

ABSTRACT

We present a new perspective on the celebrated Sinkhorn algorithm by showing that is a special case of incremental/stochastic mirror descent. In order to see this, one should simply plug Kullback-Leibler divergence in both mirror map and the objective function. Since the problem has unbounded domain, the objective function is neither smooth nor it has bounded gradients. However, one can still approach the problem using the notion of relative smoothness, obtaining that the stochastic objective is 1-relative smooth. The discovered equivalence allows us to propose 1) new methods for optimal transport, 2) an extension of Sinkhorn algorithm beyond two constraints.

研究动机与目标

• 通过将Sinkhorn算法置于随机镜像下降框架中，为其提供一种新的理论解释。
• 通过利用相对光滑性，解决在无界域中Sinkhorn算法缺乏收敛性保证的问题。
• 基于所发现的等价关系，开发新的最优传输算法，包括非随机和加速变体。
• 通过将算法推广至任意线性系统，将Sinkhorn算法扩展至多于两边缘约束的情形。
• 使先进的镜像下降技术（如加速和近端方法）能够应用于熵正则化的最优传输问题。

提出的方法

• 该论文将熵正则化的最优传输问题表述为一系列Kullback-Leibler散度之和的最小化问题，每个散度对应一个线性约束。
• 证明了使用熵镜像映射 $\omega(x) = x(\log x - 1)$ 和步长 $\eta = 1$ 的镜像下降更新，等价于对线性约束集进行Bregman投影。
• 通过证明：当 $f_i(x) = \mathcal{KL}(\langle a_i, x\rangle \| b_i)$ 时，镜像下降更新可简化为Bregman投影 $\Pi_{C_i}^\omega(x^k)$，其与Sinkhorn的行和列归一化步骤完全一致，从而建立等价性。
• 该方法利用相对光滑性的概念，证明每个 $f_i$ 关于 $\omega$ 是1-相对光滑的，从而在非光滑性和梯度无界的情况下仍能实现收敛性分析。
• 该框架允许设计新方法：‘Pinkhorn’（非随机镜像下降）和利用Nesterov风格加速技术的加速Pinkhorn，适用于相对光滑函数。
• 该方法通过将随机镜像下降应用于任意线性系统 $Ax = b$ 及非负约束，将适用范围扩展至多于两边缘约束的问题。

实验结果

研究问题

• RQ1 能否将Sinkhorn算法正式解释为已知优化框架（如随机镜像下降）的一个特例？
• RQ2 熵正则化最优传输问题中由于缺乏光滑性和有界梯度，是否会导致收敛性保证失效？若如此，相对光滑性能否解决此问题？
• RQ3 能否利用Sinkhorn与随机镜像下降之间的等价性，设计出更高效的新最优传输算法？
• RQ4 能否通过该框架将Sinkhorn算法扩展至多于两个边缘约束的问题？
• RQ5 能否通过该重表述，将高级镜像下降技术（如加速和近端方法）应用于熵正则化最优传输问题？

主要发现

• 正式证明了Sinkhorn算法等价于使用Kullback-Leibler散度作为镜像映射和目标函数的随机镜像下降。
• 在重表述的问题中，目标函数关于熵镜像映射是1-相对光滑的，从而在非光滑性和梯度无界的情况下仍能实现收敛性分析。
• 通过从镜像下降更新中去除随机性，提出了一种新的非随机方法——‘Pinkhorn’，为Sinkhorn提供了一种确定性替代方案。
• 通过已知的相对光滑优化加速技术，推导出加速版‘Pinkhorn’，显著提升了收敛速率。
• 该框架使Sinkhorn算法能够推广至多于两边缘约束的任意线性系统，从而将适用范围扩展至多边缘最优传输问题。
• 该等价关系使得可在最优传输背景下应用先进的优化工具（如近端算子和线搜索方法），为新研究方向开辟了道路。