[论文解读] Sharp Convergence Rates for Empirical Optimal Transport with Smooth Costs

Tudor Manole, Jonathan Niles‐Weed|arXiv (Cornell University)|Jun 24, 2021

Markov Chains and Monte Carlo Methods参考文献 45被引用 9

一句话总结

本文为具有光滑代价函数的最优传输成本的插补估计量建立了精确的收敛速率，表明其收敛速度比标准的 n^{-1/d} 速率快两倍，接近 n^{-2/d}。这种改进源于光滑性，作者通过经验过程理论和覆盖数控制，证明了紧致的上界与下界。

ABSTRACT

We revisit the question of characterizing the convergence rate of plug-in estimators of optimal transport costs. It is well known that an empirical measure comprising independent samples from an absolutely continuous distribution on $\mathbb{R}^d$ converges to that distribution at the rate $n^{-1/d}$ in Wasserstein distance, which can be used to prove that plug-in estimators of many optimal transport costs converge at this same rate. However, we show that when the cost is smooth, this analysis is loose: plug-in estimators based on empirical measures converge quadratically faster, at the rate $n^{-2/d}$. As a corollary, we show that the Wasserstein distance between two distributions is significantly easier to estimate when the measures are well-separated. We also prove lower bounds, showing not only that our analysis of the plug-in estimator is tight, but also that no other estimator can enjoy significantly faster rates of convergence uniformly over all pairs of measures. Our proofs rely on empirical process theory arguments based on tight control of $L^2$ covering numbers for locally Lipschitz and semi-concave functions. As a byproduct of our proofs, we derive $L^\infty$ estimates on the displacement induced by the optimal coupling between any two measures satisfying suitable concentration and anticoncentration conditions, for a wide range of cost functions.

研究动机与目标

• 刻画当代价函数光滑时，最优传输成本插补估计量的收敛速率。
• 证明当代价函数光滑时，标准的 n^{-1/d} 收敛速率是松散的，且可实现更快的 n^{-2/d} 速率。
• 建立极小极大下界，表明在所有测度对上，任何估计量都无法显著优于 n^{-2/d} 的速率。
• 在集中与反集中条件下，推导由最优耦合诱导的位移映射的 L^∞ 估计。
• 通过经验过程理论与覆盖数，统一实证最优传输在光滑代价下的理论分析。

提出的方法

• 使用经验过程理论控制局部利普希茨与拟凹函数的 L^2 覆盖数。
• 通过紧密控制覆盖数，界定经验最优传输成本与其总体对应值之间的偏差。
• 在一般代价函数下，于集中与反集中条件下推导位移映射的 L^∞ 估计。
• 采用基于构造两组测度的极小极大检验方法，证明下界。
• 利用卡方散度与总变差的测度变换方法，构造一个检验问题。
• 应用马尔可夫不等式与概率界，推导所有估计量中期望估计误差的下界。

实验结果

研究问题

• RQ1 当代价函数光滑时，实证最优传输的标准 n^{-1/d} 收敛速率是否可改进？
• RQ2 具有光滑代价的最优传输成本插补估计量的最优收敛速率是什么？
• RQ3 n^{-2/d} 速率是否紧致？是否存在任何估计量可在所有测度对上实现显著更快的速率？
• RQ4 集中与反集中条件如何影响最优传输中的位移映射？
• RQ5 覆盖数在控制实证最优传输成本偏差中起什么作用？

主要发现

• 对于光滑代价函数，最优传输成本的插补估计量以 n^{-2/d} 的速率收敛，比标准的 n^{-1/d} 速率快两倍。
• 在 p ≥ 2 的 p-沃比斯距离情况下，n^{-2/d} 速率是紧致的，期望误差被有界于 C n^{-2/d}，其中 C 为某常数。
• 对于 1 ≤ p ≤ 2，速率为 n^{-p/d}，虽慢于 n^{-2/d}，但当 p < 2 时仍快于 n^{-1/d} 速率。
• 本文证明了极小极大下界，表明在所有测度对上，任何估计量都无法实现快于 n^{-2/d} 的速率。
• 作者在集中与反集中条件下推导了位移映射的 L^∞ 估计，这对控制覆盖数估计至关重要。
• 分析表明，当测度 μ 与 ν 明显分离时，由于代价函数的光滑性，收敛速率显著提升。