[论文解读] Optimal Transport losses and Sinkhorn algorithm with general convex regularization

Simone Di Marino, Augusto Gerolin|arXiv (Cornell University)|Jul 2, 2020

Advanced Optimization Algorithms Research参考文献 42被引用 9

一句话总结

本文引入了一类广义的凸正则化最优传输（OT）损失，将Sinkhorn算法的适用范围从香农熵正则化扩展至更广泛的场景。通过利用对偶性与广义变换，作者在离散与连续设置下，为所得到的广义Sinkhorn算法建立了存在性、连续性、可微性及收敛性保证，并将其应用于多边际OT与Wasserstein中位数问题。

ABSTRACT

We introduce a new class of convex-regularized Optimal Transport losses, which generalizes the classical Entropy-regularization of Optimal Transport and Sinkhorn divergences, and propose a generalized Sinkhorn algorithm. Our framework unifies many regularizations and numerical methods previously appeared in the literature. We show the existence of the maximizer for the dual problem, complementary slackness conditions, providing a complete characterization of solutions for such class of variational problems. As a consequence, we study structural properties of these losses, including continuity, differentiability and provide explicit formulas for the its gradient. Finally, we provide theoretical guarantees of convergences and stability of the generalized Sinkhorn algorithm, even in the continuous setting. The techniques developed here are directly applicable also to study Wasserstein barycenters or, more generally, multi-marginal problems.

研究动机与目标

• 统一并推广现有的正则化最优传输方法，超越香农熵正则化，以提升其在机器学习中的广泛应用性。
• 建立一类新型凸正则化OT损失的理论基础——包括存在性、连续性与可微性。
• 开发并分析一种广义Sinkhorn算法，确保在一般凸正则化下保持收敛性与稳定性。
• 将该框架扩展至多边际最优传输问题，并为Wasserstein中位数提供理论保证。
• 为数值计算提供显式的梯度公式与与网格无关的收敛结果。

提出的方法

• 通过在正则化项中引入一个凸函数 $\Phi$，形式化定义广义凸正则化OT问题，从而推广熵正则化与Sinkhorn散度。
• 推导正则化OT问题的对偶形式，并为势函数定义广义的 $\Phi$-变换。
• 通过交替最大化对偶势函数并利用 $\Phi$-变换，提出广义Sinkhorn算法。
• 在离散与连续设置下，证明算法在 $L^p$-范数下的收敛性与稳定性，且不依赖于离散化网格尺寸。
• 建立互补松弛条件与对偶性条件，以完全刻画最优解。
• 通过递归使用 $\Phi$-变换，将框架扩展至多边际OT问题，并证明广义多边际Sinkhorn算法的收敛性。

实验结果

研究问题

• RQ1 能否将Sinkhorn算法推广至任意凸正则化，而不仅限于香农熵？
• RQ2 凸正则化OT损失的结构特性（如连续性、可微性、梯度公式）是什么？
• RQ3 在何种条件下，广义Sinkhorn算法在离散与连续设置下均能收敛？
• RQ4 如何将对偶框架扩展至具有通用凸正则化的多边际最优传输问题？
• RQ5 对于具有凸正则化的广义OT问题，可建立哪些理论保证（如存在性、唯一性、稳定性）？

主要发现

• 证明了对偶问题最大值解的存在性，并给出了互补松弛条件，从而完全刻画了原始解。
• 证明了凸正则化OT损失在边际上关于弱*拓扑是连续的，并给出了显式的梯度公式。
• 广义Sinkhorn算法在 $L^p$-范数下收敛至最优传输计划，且收敛性不依赖于离散化网格尺寸。
• 该算法在连续设置下仍保持稳定与收敛，且对离散与连续OT问题均提供了理论保证。
• 该框架可推广至多边际最优传输问题，并给出了广义多边际Sinkhorn算法的收敛性证明。
• 该方法统一了多种现有正则化形式，并为生成建模与中位数计算等实际应用提供了理论基础。