[论文解读] The statistical effect of entropic regularization in optimal transportation

Eustasio del Barrio, Jean–Michel Loubes|arXiv (Cornell University)|Jun 9, 2020

Statistical Mechanics and Entropy参考文献 20被引用 10

一句话总结

本文为多变量正态分布之间熵正则化最优传输提供了闭式解，揭示了正则化后的传输方案通过 $\Sigma_1 + \frac{\varepsilon}{2}I_d$ 在协方差矩阵上引入了偏移。此外，本文进一步证明了高斯分布的熵正则化中位数仍为高斯分布，其协方差通过求解一个不动点矩阵方程获得，从而在Sinkhorn算法中对正则化的统计与计算效应提供了理论上的清晰解释。

ABSTRACT

We propose to tackle the problem of understanding the effect of regularization in Sinkhorn algotihms. In the case of Gaussian distributions we provide a closed form for the regularized optimal transport which enables to provide a better understanding of the effect of the regularization from a statistical framework.

研究动机与目标

• 理解熵正则化在最优传输中的统计影响，特别是在Sinkhorn算法的背景下。
• 推导出多变量正态分布之间正则化最优传输的闭式表达式。
• 表征高斯混合分布熵正则化中位数的结构，并确立其存在性与唯一性。
• 量化正则化参数 $\varepsilon$ 对传输方案的统计收敛性与几何性质的影响。
• 弥合正则化最优传输中计算效率与统计一致性之间的差距。

提出的方法

• 利用矩阵代数与Schr"odinger系统，推导出两个零均值多变量正态分布之间熵正则化最优传输的闭式解。
• 在Sinkhorn算法框架下，将正则化传输建模为带熵罚项 $\varepsilon H(\pi)$ 的严格凸优化问题。
• 应用矩阵函数微积分求解对偶问题，导出涉及矩阵积平方根的不动点方程。
• 通过Brouwer不动点定理在紧致凸集上证明不动点的存在性，从而确立正则化中位数的存在性与唯一性。
• 将 $k$ 个高斯分布的中位数表征为一个高斯分布，其均值为输入均值的加权平均，协方差通过一个非线性矩阵方程求解。
• 利用矩阵符号函数与对数行列式性质，分析正则化代价函数的凸性与最小化过程。

实验结果

研究问题

• RQ1 熵正则化如何影响两个高斯分布之间最优传输方案的结构？
• RQ2 能否为高斯分布之间的熵正则化最优传输推导出闭式解？
• RQ3 正则化参数 $\varepsilon$ 对经验正则化OT收敛率的统计影响是什么？
• RQ4 高斯分布的熵正则化中位数是否仍为高斯分布？若是，其协方差如何确定？
• RQ5 当 $\varepsilon \to 0$ 时，正则化中位数与经典Wasserstein中位数有何关系？

主要发现

• 两个零均值高斯分布（协方差分别为 $\Sigma_1$ 与 $\Sigma_2$）之间的正则化最优传输，其代价在 $\Sigma_2 = \Sigma_1 + \frac{\varepsilon}{2}I_d$ 时最小化，表明正则化直接导致协方差的偏移。
• 高斯分布之间正则化传输代价的闭式解为 $\mathcal{W}_{2,\varepsilon}^2(P_1,P_2) = \text{Tr}(\Sigma_2) - 2\text{Tr}(\Sigma_1 X_\varepsilon) - \frac{\varepsilon}{2}\log|\Sigma_1 X_\varepsilon|$，其中 $X_\varepsilon$ 为满足矩阵方程的解。
• $k$ 个高斯分布 $P_i = N(\mu_i, \Sigma_i)$ 的 $\varepsilon$-正则化中位数本身为高斯分布 $N(\mu_0, \Sigma_0)$，其中 $\mu_0 = \sum \lambda_i \mu_i$，且 $\Sigma_0$ 由涉及 $\Sigma_i$ 与 $\varepsilon$ 的矩阵方程唯一确定。
• 中位数协方差 $\Sigma_0$ 的矩阵方程为 $\sum_{i=1}^k \lambda_i \left( \Sigma_0^{-1/2}(\Sigma_0^{1/2}\Sigma_i\Sigma_0^{1/2} + (\frac{\varepsilon}{4})^2 I_d)^{1/2} \Sigma_0^{-1/2} + \frac{\varepsilon}{4}\Sigma_0^{-1} \right) = I_d$，该方程存在唯一的正定解。
• 正则化中位数保持了高斯结构，表明其在熵正则化下具有稳定性，而经典Wasserstein中位数则在位置-尺度族之外无法保持此性质。
• 经验正则化OT的收敛率被证明为 $O(\frac{1}{\varepsilon^{2 + [5d/4]}} \cdot \frac{1}{\sqrt{n}})$，优于未正则化OT的 $n^{-1/d}$ 收敛率，凸显了正则化的统计优势。