[论文解读] On the difference between entropic cost and the optimal transport cost

Soumik Pal|arXiv (Cornell University)|May 29, 2019

Geometric Analysis and Curvature Flows参考文献 28被引用 20

一句话总结

该论文建立了当 $ h \to 0^+ $ 时，熵成本 $ K_h $ 与 $ \frac{1}{h} $ 倍最优传输成本之间差值的逐点极限。结果表明，该差值收敛于一个涉及黎曼体积测度的相对熵项，该测度捕捉了传输映射的局部敏感性。对于二次 Wasserstein 传输，该极限等于目标与源密度微熵之差的一半，且该结果可推广至非局部 Dirichlet 传输，表明即使在无度量成本的情况下，熵中也存在梯度流结构。

ABSTRACT

Consider the Monge-Kantorovich problem of transporting densities $ρ_0$ to $ρ_1$ on $\mathbb{R}^d$ with a strictly convex cost function. A popular relaxation of the problem is the one-parameter family called the entropic cost problem. The entropic cost $K_h$, $h>0$, is significantly faster to compute and $h K_h$ is known to converge to the optimal transport cost as $h$ goes to zero. We are interested the rate of convergence. We show that the difference between $K_h$ and $1/h$ times the optimal cost of transport has a pointwise limit when transporting a compactly supported density to another that satisfies a few other technical restrictions. This limit is the relative entropy of $ρ_1$ with respect to a Riemannian volume measure on $\mathbb{R}^d$ that measures the local sensitivity of the transport map. For the quadratic Wasserstein transport, this relative entropy is exactly one half of the difference of entropies of $ρ_1$ and $ρ_0$. In that case we complement the results of Adams et al., Duong et al, and Erbar et al. who all use gamma convergence. More surprisingly, we demonstrate that this difference of two entropies (plus the cost) is also the limit for the Dirichlet transport introduced recently by Pal and Wong. The latter can be thought of as a multiplicative analog of the Wasserstein transport and corresponds to a non-local operator. It hints at an underlying gradient flow of entropy, in the sense of Jordan-Kinderlehrer-Otto, even when the cost function is not a metric. The proofs are based on Gaussian approximations to Schrödinger bridges as $h$ approaches zero.

研究动机与目标

• 分析当正则化参数 $ h \to 0^+ $ 时，熵成本 $ K_h $ 对最优传输成本的收敛速率。
• 在严格凸成本函数背景下，确定 $ K_h - \frac{1}{h} \mathbb{W}_g(\rho_0, \rho_1) $ 的逐点极限。
• 证明对于二次 Wasserstein 成本，该极限等于 $ \rho_1 $ 与 $ \rho_0 $ 微熵之差的一半。
• 将结果推广至 Dirichlet 传输（Wasserstein 传输的非局部、乘法型类比），并证明其具有相同的极限结构。
• 建立熵正则化渐近行为与熵中梯度流之间的联系，即使成本函数非度量亦成立。

提出的方法

• 利用当 $ h \to 0^+ $ 时对 Schrödinger 桥的高斯近似，结合大偏差原理分析熵成本的极限。
• 将熵成本 $ K_h $ 定义为耦合 $ \nu $ 相对于参考测度 $ \mu_h $ 的相对熵，其中 $ \mu_h $ 是具有核 $ \exp(-\frac{1}{h}g(x-y)) $ 的 Gibbs 测度。
• 在对偶空间坐标系中应用变量替换技术与雅可比行列式，以转换逆变换下的熵表达式，尤其在 Dirichlet 传输情形下。
• 通过将 $ K_h $ 分解为 $ \frac{1}{h} \mathbf{C}(\rho_0, \rho_1) $、对数校正项 $ \int \log Z_h(p) \rho_0(p) dp $ 以及涉及参考测度密度的项，推导其渐近展开式。
• 利用引理 4 计算当 $ h \to 0^+ $ 时 $ \int \log Z_h(p) \rho_0(p) dp $ 的极限，将其表示为相对熵与雅可比行列式的形式。
• 通过 Sckrödinger 桥问题的微扰分析建立极限，证明其收敛于编码了传输映射局部敏感性的黎曼体积测度。

实验结果

研究问题

• RQ1 当 $ h \to 0^+ $ 时，对于严格凸成本函数，$ K_h - \frac{1}{h} \mathbb{W}_g(\rho_0, \rho_1) $ 的逐点极限是什么？
• RQ2 该极限如何与 $ \mathbb{R}^d $ 上目标密度相对于黎曼体积测度的相对熵相关？
• RQ3 对于二次 Wasserstein 成本，该极限是否等于 $ \rho_1 $ 与 $ \rho_0 $ 微熵之差的一半？
• RQ4 该渐近极限结构是否可推广至非局部 Dirichlet 传输（即 Wasserstein 传输的乘法型类比）？
• RQ5 该极限的存在是否暗示即使成本函数非度量，熵中也存在梯度流结构？

主要发现

• 差值 $ K_h - \frac{1}{h} \mathbb{W}_g(\rho_0, \rho_1) $ 逐点收敛于一个涉及黎曼体积测度的相对熵项，该测度量化了最优传输映射的局部敏感性。
• 对于二次 Wasserstein 成本，该极限恰好为 $ \frac{1}{2} \left( \mathrm{Ent}(\rho_1) - \mathrm{Ent}(\rho_0) \right) $，与微熵差值仅相差一半因子。
• 相同的渐近极限结构也适用于 Pal 和 Wong 提出的 Dirichlet 传输，其对应于非局部算子与乘法型传输结构。
• 该结果暗示即使成本函数非度量，熵中仍存在 Jordan-Kinderlehrer-Otto 意义下的梯度流结构，表明存在更深层的几何结构。
• 该极限通过 Schrödinger 桥的高斯近似与大偏差原理推导得出，校正项以雅可比行列式与参考测度密度表达。
• 证明依赖于对偶空间中的变量替换公式，尤其在逆变换下，以关联原坐标系与变换后坐标系中的熵表达式。