[论文解读] On the rate of convergence in Wasserstein distance of the empirical measure

Nicolas Fournier, Arnaud Guillin|arXiv (Cornell University)|Dec 7, 2013

Point processes and geometric inequalities参考文献 43被引用 930

一句话总结

本文建立了经验测度在 Wasserstein 距离 $p>0$ 下收敛到真实分布的非渐近 $L^p$-矩界和集中不等式。推导了依赖于维度 $d$、分布的矩条件的精确速率，并将结果扩展到依赖序列和粒子系统，在最小矩假设下展示了最优速率。

ABSTRACT

Let $\\mu_N$ be the empirical measure associated to a $N$-sample of a given probability distribution $\\mu$ on $\\mathbb{R}^d$. We are interested in the rate of convergence of $\\mu_N$ to $\\mu$, when measured in the Wasserstein distance of order $p>0$. We provide some satisfying non-asymptotic $L^p$-bounds and concentration inequalities, for any values of $p>0$ and $d\\geq 1$. We extend also the non asymptotic $L^p$-bounds to stationary $\ ho$-mixing sequences, Markov chains, and to some interacting particle systems.

研究动机与目标

• 量化当 $p>0$ 时，经验测度 $\mu_N$ 在 Wasserstein 距离 $\mathcal{W}_p$ 下收敛到真实测度 $\mu$ 的速率。
• 推导对所有 $N \geq 1$ 成立的非渐近 $L^p$-矩界和集中不等式，而不仅限于极限情形。
• 将结果从 i.i.d. 样本扩展到 $\rho$-混合序列、马尔可夫链和 McKean-Vlasov 粒子系统。
• 揭示维度 $d$、$\mu$ 的矩条件与 $\mathcal{W}_p$ 中收敛速率之间的相互作用。

提出的方法

• 利用 $q > p$ 时的矩条件 $M_q(\mu) < \infty$ 和指数矩 $\mathcal{E}_{\alpha,\gamma}(\mu)$ 来控制 Wasserstein 距离。
• 应用 Dereich, Scheutzow, 和 Schottstedt (2013) 的技术，推导 $\mathbb{E}[\mathcal{T}_p(\mu_N, \mu)]$ 的精确界。
• 采用协方差衰减估计和 Hölder 不等式处理马尔可夫链和 $\rho$-混合序列等依赖过程。
• 使用二元划分和覆盖论证，通过小集合上经验测度的 $L^p$-范数控制 Wasserstein 距离。
• 将混沌传播框架应用于 McKean-Vlasov 粒子系统，将粒子系统的经验测度与非线性 SDE 解进行比较。
• 结合矩界与已知的粒子系统 $L^2$-收敛速率，推导 $\mathcal{W}_2$ 中的整体收敛速率。

实验结果

研究问题

• RQ1 当 $p>0$ 时，经验测度 $\mu_N$ 在 $\mathcal{W}_p$ 中的非渐近收敛速率是什么？
• RQ2 收敛速率如何依赖于维度 $d$、矩阶 $p$ 和 $\mu$ 的尾部行为？
• RQ3 $L^p$-矩界能否扩展到 $\rho$-混合序列和马尔可夫链等依赖过程？
• RQ4 近似 McKean-Vlasov SDE 的粒子系统在 $\mathcal{W}_2$ 中的收敛速率是什么？
• RQ5 在离散或均匀分布等特定情形下，这些界与已知下界相比如何？

主要发现

• 当 $p > d/2$ 时，在 $M_q(\mu) < \infty$ 且 $q > p$ 的条件下，速率为 $O(N^{-1/2} + N^{-(q-p)/q})$，在 $p = d/2$ 时有对数修正项。
• 当 $p < d/2$ 时，速率为 $O(N^{-p/d} + N^{-(q-p)/q})$，与在 $[-1,1]^d$ 上均匀测度的已知下界 $\Omega(N^{-p/d})$ 一致。
• 当 $p = d/2 = 1$ 时，速率为 $O(N^{-1/2}\log(1+N))$，与 Ajtai-Komlós-Tusnády 对均匀分布的结果一致。
• 对于 $\rho$-混合序列和遍历马尔可夫链，在初始分布 $L^r$-可积和几何遍历性条件下，速率仍为 $O(N^{-1/2})$。
• 对于 McKean-Vlasov 粒子系统，$\mathcal{W}_2$ 中的整体速率是 $O(\alpha(N) + \beta(N))$，其中 $\alpha(N) = N^{-1}$（log-Sobolev 情形）或 $N^{-1/(\alpha-1)}$（多项式势），$\beta(N)$ 为依赖于 $d$ 的 i.i.d. 速率。
• 界是精确的：对任意具有分离原子的测度，存在 $N^{-1/2}$ 阶的下界；对均匀测度，存在 $N^{-p/d}$ 阶的下界，证实了所推导速率的最优性。