[论文解读] Smooth $p$-Wasserstein Distance: Structure, Empirical Approximation, and Statistical Applications

Sloan Nietert, Ziv Goldfeld+1 more|arXiv (Cornell University)|Jan 11, 2021

Geometric Analysis and Curvature Flows参考文献 45被引用 9

一句话总结

本文引入并分析了高斯平滑的 $p$-Wasserstein 距离 $\mathsf{W}_p^{(\sigma)}$，表明其继承了经典 Wasserstein 距离的度量与拓扑性质，同时在所有维度 $d$ 下实现了参数化的 $n^{-1/2}$ 经验收敛速率，这与未平滑的 $\mathsf{W}_p$ 的 $n^{-1/d}$ 速率形成对比。关键贡献在于通过与 $p$ 阶平滑 Sobolev 距离 $\mathsf{d}_p^{(\sigma)}$ 的新颖联系，为使用 $\mathsf{W}_p^{(\sigma)}$ 实现快速、可扩展的统计推断提供了理论基础。

ABSTRACT

Discrepancy measures between probability distributions, often termed statistical distances, are ubiquitous in probability theory, statistics and machine learning. To combat the curse of dimensionality when estimating these distances from data, recent work has proposed smoothing out local irregularities in the measured distributions via convolution with a Gaussian kernel. Motivated by the scalability of this framework to high dimensions, we investigate the structural and statistical behavior of the Gaussian-smoothed $p$-Wasserstein distance $\mathsf{W}_p^{(σ)}$, for arbitrary $p\geq 1$. After establishing basic metric and topological properties of $\mathsf{W}_p^{(σ)}$, we explore the asymptotic statistical behavior of $\mathsf{W}_p^{(σ)}(\hatμ_n,μ)$, where $\hatμ_n$ is the empirical distribution of $n$ independent observations from $μ$. We prove that $\mathsf{W}_p^{(σ)}$ enjoys a parametric empirical convergence rate of $n^{-1/2}$, which contrasts the $n^{-1/d}$ rate for unsmoothed $\mathsf{W}_p$ when $d \geq 3$. Our proof relies on controlling $\mathsf{W}_p^{(σ)}$ by a $p$th-order smooth Sobolev distance $\mathsf{d}_p^{(σ)}$ and deriving the limit distribution of $\sqrt{n}\,\mathsf{d}_p^{(σ)}(\hatμ_n,μ)$, for all dimensions $d$. As applications, we provide asymptotic guarantees for two-sample testing and minimum distance estimation using $\mathsf{W}_p^{(σ)}$, with experiments for $p=2$ using a maximum mean discrepancy formulation of $\mathsf{d}_2^{(σ)}$.

研究动机与目标

• 解决经验 Wasserstein 距离估计中的维度灾难问题，该问题在高维下导致 $n^{-1/d}$ 的缓慢收敛速率。
• 通过引入高斯平滑，为经典 $\mathsf{W}_p$ 提供一个理论坚实且可扩展的替代方案，以改善统计收敛性。
• 建立平滑 $\mathsf{W}_p^{(\sigma)}$ 的度量与拓扑结构，以及其在 $\sigma$ 的小扰动下的稳定性。
• 推导一般 $p \geq 1$ 和所有维度 $d$ 下 $\sqrt{n}\,\mathsf{W}_p^{(\sigma)}(\hat{\mu}_n, \mu)$ 的渐近分布。
• 为使用 $\mathsf{W}_p^{(\sigma)}$ 的两样本检验和最小距离估计提供统计保证，并通过实验验证。

提出的方法

• 本文将平滑的 $p$-Wasserstein 距离定义为 $\mathsf{W}_p^{(\sigma)}(\mu, \nu) = \mathsf{W}_p(\mu * \mathcal{N}_\sigma, \nu * \mathcal{N}_\sigma)$，其中 $\mathcal{N}_\sigma$ 为各向同性的高斯核。
• 证明了 $\mathsf{W}_p^{(\sigma)}$ 是一个度量，并诱导与 $\mathsf{W}_p$ 相同的拓扑结构，且在 $\sigma$ 的小变化下保持稳定。
• 核心方法创新在于使用 $p$ 阶平滑 Sobolev 距离 $\mathsf{d}_p^{(\sigma)}$ 作为控制 $\mathsf{W}_p^{(\sigma)}$ 的代理，从而实现收敛性分析。
• 通过证明 $\sqrt{n}\,\mathsf{d}_p^{(\sigma)}(\hat{\mu}_n, \mu)$ 依分布收敛于一个紧致的高斯过程，本文推导出 $\mathsf{W}_p^{(\sigma)}$ 的参数化 $n^{-1/2}$ 速率。
• 理论结果通过一种新颖构造的齐次 Sobolev 空间 $\dot{H}^{1,p}(\gamma)$ 得到支持，即通过梯度的 $L^p$-闭包，确保函数空间的一致性。
• 实验部分采用 $\mathsf{d}_2^{(\sigma)}$ 的最大均值差异形式（$p=2$），并在合成与真实数据上进行实验，以验证收敛性与统计实用性。

实验结果

研究问题

• RQ1 Gaussian-smoothed $p$-Wasserstein 距离 $\mathsf{W}_p^{(\sigma)}$ 的结构行为如何？它是否保留了经典 $\mathsf{W}_p$ 的度量与拓扑性质？
• RQ2 作为样本量 $n$ 和维度 $d$ 的函数，$\mathsf{W}_p^{(\sigma)}(\hat{\mu}_n, \mu)$ 的经验收敛速率如何？
• RQ3 $\sqrt{n}\,\mathsf{W}_p^{(\sigma)}(\hat{\mu}_n, \mu)$ 的极限分布在不同维度下如何表现？能否为一般 $p \geq 1$ 提供表征？
• RQ4 $\mathsf{W}_p^{(\sigma)}$ 是否可用于两样本检验和最小距离估计，并具备渐近保证？
• RQ5 $\mathsf{W}_p^{(\sigma)}$ 与 $p$ 阶平滑 Sobolev 距离 $\mathsf{d}_p^{(\sigma)}$ 之间存在何种关系？该关系如何被用于收敛性控制？

主要发现

• 平滑的 $p$-Wasserstein 距离 $\mathsf{W}_p^{(\sigma)}$ 是一个度量，并诱导与经典 $\mathsf{W}_p$ 相同的拓扑结构，确保了结构一致性。
• 在温和的矩条件之下，$\mathsf{W}_p^{(\sigma)}$ 在所有维度 $d$ 下实现了参数化的经验收敛速率 $n^{-1/2}$，而未平滑的 $\mathsf{W}_p$ 在 $d \geq 3$ 时为 $n^{-1/d}$ 速率。
• $\sqrt{n}\,\mathsf{W}_p^{(\sigma)}(\hat{\mu}_n, \mu)$ 的极限分布被证明收敛于一个紧致高斯过程的上确界，从而为所有 $d$ 提供渐近推断能力。
• 通过 $\mathsf{d}_2^{(\sigma)}$ 距离，推导出 $\mathbb{E}[\mathsf{W}_2^{(\sigma)}(\hat{\mu}_n, \mu)]$ 的上界，得到 $\mathbb{E}[\mathsf{W}_2^{(\sigma)}(\hat{\mu}_n, \mu)] \leq 2e^{\mathbb{E}[|X|^2]/(4\sigma^2)} \left(\mathbb{E}[\kappa^{(\sigma)}(X,X)] - \mathbb{E}[\kappa^{(\sigma)}(X,X')]\right)^{1/2} n^{-1/2}$。
• 实验结果确认了 $p=2$ 时的 $n^{-1/2}$ 收敛速率，并展示了 $\mathsf{W}_p^{(\sigma)}$ 在两样本检验和最小距离估计中的实用性。
• 理论结果通过构造性表征齐次 Sobolev 空间 $\dot{H}^{1,p}(\gamma)$ 作为 $\mathbb{R}^d$ 上的函数 Banach 空间得到支持，确保了函数分析的严谨性。