[论文解读] Statistical inference with regularized optimal transport

Ziv Goldfeld, Kengo Kato+2 more|arXiv (Cornell University)|May 9, 2022

Statistical Methods and Inference被引用 8

一句话总结

本文为正则化最优传输中的统计推断构建了一个统一框架，建立了经验正则化Wasserstein距离的极限分布、半参数效率及自助法一致性。该框架应用于切片、平滑和熵正则化OT，弥合了现有理论中的空白，并在一般条件下证明了效率与自助法有效性的新结果。

ABSTRACT

Optimal transport (OT) is a versatile framework for comparing probability measures, with many applications to statistics, machine learning, and applied mathematics. However, OT distances suffer from computational and statistical scalability issues to high dimensions, which motivated the study of regularized OT methods like slicing, smoothing, and entropic penalty. This work establishes a unified framework for deriving limit distributions of empirical regularized OT distances, semiparametric efficiency of the plug-in empirical estimator, and bootstrap consistency. We apply the unified framework to provide a comprehensive statistical treatment of: (i) average- and max-sliced $p$-Wasserstein distances, for which several gaps in existing literature are closed; (ii) smooth distances with compactly supported kernels, the analysis of which is motivated by computational considerations; and (iii) entropic OT, for which our method generalizes existing limit distribution results and establishes, for the first time, efficiency and bootstrap consistency. While our focus is on these three regularized OT distances as applications, the flexibility of the proposed framework renders it applicable to broad classes of functionals beyond these examples.

研究动机与目标

• 为正则化最优传输的统计理论中的关键空白，特别是极限分布、效率与自助法一致性，提供系统性解决。
• 将不同的正则化技术——切片、平滑与熵正则化——统一于单一理论框架之下。
• 为经验正则化OT距离建立半参数效率与自助法一致性，涵盖文献中此前未被处理的情形。
• 提供一种通用方法，可超越特定正则化形式，适用于广泛函数类的统计推断。

提出的方法

• 该框架利用广义函数δ方法处理Hadamard方向可微泛函，实现对经验测度复杂泛函的渐近正态性结果。
• 将δ方法应用于定义在概率测度空间上的泛函，通过子高斯矩条件确保有界函数空间中的紧致性与收敛性。
• 通过验证泛函导数的条件及经验过程在适当函数类中的弱收敛性，建立极限分布。
• 对于熵正则化OT，该框架将先前针对独立数据的中心极限定理推广至依赖数据，并证明了半参数效率与自助法一致性。
• 该方法处理复合泛函如$\mathsf{S}(\mu, \nu)$，通过分析$\hat{\mu}_n \otimes \hat{\nu}_n$在$\ell^\infty(\mathcal{F})$中的联合收敛性，适用于适当的函数类$\mathcal{F}$。
• 利用子高斯矩界与参数空间的凸性，验证函数δ方法所需的条件，确保渐近正态性与效率。

实验结果

研究问题

• RQ1 在一般正则化（如切片、平滑与熵正则化）下，经验正则化Wasserstein距离的极限分布是什么？
• RQ2 正则化OT距离的插补经验估计量是否具有半参数效率？在何种条件下成立？
• RQ3 能否对正则化OT距离一致地应用自助法？该框架是否支持依赖数据下的自助法？
• RQ4 具有紧支集核的光滑OT与具有高斯核的光滑OT在统计性质上如何比较？其计算影响是什么？
• RQ5 能否通过单一理论框架统一分析多种正则化OT方法的渐近性质，包括具有不同正则化机制的方法？

主要发现

• 本文首次建立了平均与最大切片$p$-Wasserstein距离的一般极限分布理论，填补了文献中此前结果被假设或未被证明的关键空白。
• 证明了经验熵正则化OT距离的半参数效率与自助法一致性，扩展了以往仅限于独立数据且缺乏效率保证的研究结果。
• 对于具有紧支集核的光滑$p$-Wasserstein距离，该框架确认了高斯平滑OT的度量与拓扑性质得以保持，并提出了用于计算的提升算法方法。
• $\sqrt{n}(\mathsf{S}(\hat{\mu}_n, \hat{\nu}_n) - \mathsf{S}(\mu, \nu))$的极限分布渐近正态，其方差为$\mathrm{Var}_\mu(\varphi) + \mathrm{Var}_\nu(\psi)$，与半参数效率下界一致。
• 该框架确认了泛函在真实测度处的导数对应于点值泛函，从而确保渐近方差达到半参数下界。
• 该方法对数据依赖性具有鲁棒性，适用于广义子高斯分布，确保在统计与机器学习场景中具有广泛适用性。