[论文解读] Weak limits of entropy regularized Optimal Transport; potentials, plans and divergences

Alberto González-Sanz, Jean–Michel Loubes+1 more|arXiv (Cornell University)|Jul 15, 2022

Probabilistic and Robust Engineering Design被引用 8

一句话总结

本文建立了熵正则化最优传输解的弱收敛性，推导了Sinkhorn势函数和耦合在Hölder空间中作为高斯过程的中心极限定理，并刻画了在原假设与备择假设下Sinkhorn散度的极限分布。该研究解决了关于熵耦合弱极限的一个猜想，并为基于熵正则化最优传输的统计推断提供了理论基础。

ABSTRACT

This work deals with the asymptotic distribution of both potentials and couplings of entropic regularized optimal transport for compactly supported probabilities in $\R^d$. We first provide the central limit theorem of the Sinkhorn potentials -- the solutions of the dual problem -- as a Gaussian process in $\Cs$. Then we obtain the weak limits of the couplings -- the solutions of the primal problem -- evaluated on integrable functions, proving a conjecture of \cite{ChaosDecom}. In both cases, their limit is a real Gaussian random variable. Finally we consider the weak limit of the entropic Sinkhorn divergence under both assumptions $H_0:\ { m P}={ m Q}$ or $H_1:\ { m P} eq{ m Q}$. Under $H_0$ the limit is a quadratic form applied to a Gaussian process in a Sobolev space, while under $H_1$, the limit is Gaussian. We provide also a different characterisation of the limit under $H_0$ in terms of an infinite sum of an i.i.d. sequence of standard Gaussian random variables. Such results enable statistical inference based on entropic regularized optimal transport.

研究动机与目标

• 推导在Hölder空间中使用经验测度替代真实分布时，Sinkhorn势函数（对偶解）的弱极限，证明其收敛于高斯过程。
• 在可积测试函数下，建立熵耦合（原始解）的弱极限，确认Harchaoui等人（2020）的猜想。
• 刻画在原假设（P = Q）与备择假设（P ≠ Q）下，熵正则化Sinkhorn散度的渐近分布。
• 通过独立同分布的标准正态随机变量，提供原假设下极限分布的新级数表示。

提出的方法

• 在空间 $\mathcal{C}^s(\Omega)$ 中推导Sinkhorn势函数的中心极限定理，证明其弱收敛于高斯过程。
• 利用函数型delta方法和非线性算子的Fréchet可微性，通过势函数收敛性分析耦合的极限。
• 应用Donsker性质与基于熵的界，控制Hölder范数下的经验过程。
• 通过涉及势函数差的 $\mathcal{C}^s$-范数的稳定性界，建立在有界连续函数上评估的熵耦合的弱收敛性。
• 将原假设下Sinkhorn散度的极限分布刻画为Sobolev空间中高斯过程的二次型。
• 提供原假设下极限分布的另一种刻画：作为独立同分布的标准正态随机变量的无穷级数。

实验结果

研究问题

• RQ1 当使用经验测度代替真实分布时，Sinkhorn势函数（对偶解）的弱极限是什么？
• RQ2 熵耦合在可积函数上评估时是否弱收敛于高斯过程，从而确认Harchaoui等人（2020）的猜想？
• RQ3 在原假设 $P = Q$ 下，熵正则化Sinkhorn散度的渐近分布是什么？
• RQ4 在备择假设 $P \neq Q$ 下，Sinkhorn散度的极限分布如何表现？
• RQ5 原假设下Sinkhorn散度的极限分布能否表示为独立同分布的标准正态随机变量的无穷级数？

主要发现

• Sinkhorn势函数在 $\mathcal{C}^s(\Omega)$ 中弱收敛于高斯过程，建立了对偶解的中心极限定理。
• 在可积函数上评估时，熵耦合弱收敛于高斯过程，确认了Harchaoui、Liu与Pal（2020）的猜想。
• 在原假设 $P = Q$ 下，Sinkhorn散度的极限分布是Sobolev空间中高斯过程的二次型。
• 在备择假设 $P \neq Q$ 下，Sinkhorn散度的极限分布为高斯分布。
• 原假设下Sinkhorn散度的极限分布可另类表示为独立同分布的标准正态随机变量的无穷级数。
• 通过Hölder范数中的稳定性界控制势函数与耦合的收敛速度，依赖于 $\mathcal{C}^s$ 空间中非线性算子的Fréchet可微性。