[论文解读] Strong equivalence between metrics of Wasserstein type

Erhan Bayraktar, Gaoyue Guo|arXiv (Cornell University)|Dec 17, 2019

Geometric Analysis and Curvature Flows参考文献 10被引用 7

一句话总结

本文通过使用 $\mathcal{W}_1$ 的对偶公式、针对投影度量结构定制的勒贝格函数拓扑，以及泛函分析技术，建立了 $\mathbb{R}^d$ 中最大切片 Wasserstein 度量 $\overline{\mathcal{W}}_1$ 与经典 Wasserstein 度量 $\mathcal{W}_1$ 之间的强等价性。相比之下，标准切片 Wasserstein 度量 $\mathcal{W}_1$ 并不具有这种等价性，凸显了最大切片变体在高维数据应用中的优越性。

ABSTRACT

We appended an errata to the original submission. The purpose of this errata is to point out two errors in [2] and give a weakened version of those statements made.

研究动机与目标

• 在 $\mathbb{R}^d$ 中建立最大切片 Wasserstein 度量 $\overline{\mathcal{W}}_1$ 与经典 $\mathcal{W}_1$ 度量之间的强等价性。
• 证明标准切片 Wasserstein 度量 $\mathcal{W}_1$ 并不具有与 $\mathcal{W}_1$ 的强等价性，而 $\overline{\mathcal{W}}_2$ 则具有该性质。
• 构建一个涉及 $\mathbb{R}^d$ 中 1-利普希茨函数空间上自定义拓扑 $\tau$ 的泛函分析框架。
• 证明形式为 $\sum_{k=1}^n a_k f_k(\mathbf{v}_k \cdot \mathbf{x})$ 的函数（其中 $a_k \geq 0$，$\|f_k\|_{\text{Lip}} \leq 1$，$\|\mathbf{v}_k\| = 1$）在拓扑 $\tau$ 下关于 $\text{Lip}_1(\mathbb{R}^d)$ 稠密。
• 为在高维设置下使用最大切片度量而非标准切片度量提供理论依据。

提出的方法

• 利用 Kantorovich-Rubinstein 对偶性对 $\mathcal{W}_1$ 进行对偶公式化，通过有界利普希茨函数刻画该度量。
• 在 $\mathbb{R}^d$ 中 1-利普希茨函数空间上引入一种新颖的拓扑 $\tau$，该拓扑针对投影度量的结构进行了定制。
• 构造一类函数 $\sum_{k=1}^n a_k f_k(\mathbf{v}_k \cdot \mathbf{x})$，其中 $a_k \geq 0$，$\|f_k\|_{\text{Lip}} \leq 1$，$\|\mathbf{v}_k\| = 1$，且 $\sum a_k \leq C_d$（$C_d > 0$ 为某常数）。
• 证明该类函数在拓扑 $\tau$ 下关于 1-利普希茨函数集合是稠密的，从而实现对一般 1-利普希茨函数的逼近。
• 应用泛函分析工具，包括 $L^1$ 与 $L^\infty$ 空间中的弱-* 收敛与对偶性，建立连续性与收敛性性质。
• 通过已知的浓度界对比 $\mathcal{W}_1$ 与 $\overline{\mathcal{W}}_1$ 的行为：当 $d=2$ 时，$\mathbb{E}[\mathcal{W}_1(\ell^d, \hat{\mu}^n)] \approx (\log n / n)^{1/2}$；当 $d \geq 3$ 时，$n^{-1/d}$，若 $\mathcal{W}_1$ 与 $\overline{\mathcal{W}}_1$ 强等价，则导致矛盾。

实验结果

研究问题

• RQ1 在 $\mathbb{R}^d$ 中，最大切片 Wasserstein 度量 $\overline{\mathcal{W}}_1$ 是否与经典 Wasserstein 度量 $\mathcal{W}_1$ 强等价？
• RQ2 标准切片 Wasserstein 度量 $\mathcal{W}_1$ 是否与 $\mathcal{W}_1$ 具有相同的强等价性质？
• RQ3 在适当拓扑下，$\mathbb{R}^d$ 上 1-利普希茨函数空间能否由形式为 $\sum a_k f_k(\mathbf{v}_k \cdot \mathbf{x})$ 的函数逼近？
• RQ4 拓扑 $\tau$ 在证明 $\overline{\mathcal{W}}_1$ 强等价性中起到什么作用？
• RQ5 在经验测度下 $\mathcal{W}_1$ 的浓度界为何与 $\mathcal{W}_1$ 和 $\overline{\mathcal{W}}_1$ 之间强等价的可能性相矛盾？

主要发现

• 在所有 $d \geq 1$ 时，最大切片 Wasserstein 度量 $\overline{\mathcal{W}}_1$ 与经典 Wasserstein 度量 $\mathcal{W}_1$ 在 $\mathbb{R}^d$ 中强等价。
• 存在常数 $C_d > 0$，使得满足 $a_k \geq 0$，$\|f_k\|_{\text{Lip}} \leq 1$，$\|\mathbf{v}_k\| = 1$，且 $\sum a_k \leq C_d$ 的函数集合 $\sum_{k=1}^n a_k f_k(\mathbf{v}_k \cdot \mathbf{x})$ 在拓扑 $\tau$ 下关于 $\mathbb{R}^d$ 上 1-利普希茨函数空间是稠密的。
• 标准切片 Wasserstein 度量 $\mathcal{W}_1$ 并不与 $\mathcal{W}_1$ 强等价，该结论通过已知浓度界导致的矛盾得以证明：当 $d=2$ 时，$\mathbb{E}[\mathcal{W}_1(\ell^d, \hat{\mu}^n)] \approx (\log n / n)^{1/2}$；当 $d \geq 3$ 时，$n^{-1/d}$。
• 该证明依赖于 $\mathcal{W}_1$ 的对偶公式化以及涉及 $L^\infty$ 空间中弱-* 收敛的泛函分析框架。
• 结果确认了 $\overline{\mathcal{W}}_1$ 在高维中继承了 $\mathcal{W}_1$ 的理论鲁棒性，而 $\mathcal{W}_1$ 由于收敛速率较慢则不具备此特性。
• 该工作为在涉及高维分布的机器学习与数据科学应用中优先选择最大切片度量而非标准切片度量提供了理论依据。