[论文解读] On Projection Robust Optimal Transport: Sample Complexity and Model Misspecification

Tianyi Lin, Zeyu Zheng+3 more|arXiv (Cornell University)|Jun 22, 2020

Adversarial Robustness in Machine Learning被引用 16

一句话总结

本文引入并分析了高维统计推断中的投影鲁棒 Wasserstein (PRW) 距离与集成 PRW (IPRW) 距离，提出了在模型误设条件下的新样本复杂度界和渐近保证。其结果表明，PRW 的收敛速度优于标准 Wasserstein 距离，并为 PRW 在高维和生成建模中的经验成功提供了理论依据。

ABSTRACT

Optimal transport (OT) distances are increasingly used as loss functions for statistical inference, notably in the learning of generative models or supervised learning. Yet, the behavior of minimum Wasserstein estimators is poorly understood, notably in high-dimensional regimes or under model misspecification. In this work we adopt the viewpoint of projection robust (PR) OT, which seeks to maximize the OT cost between two measures by choosing a $k$-dimensional subspace onto which they can be projected. Our first contribution is to establish several fundamental statistical properties of PR Wasserstein distances, complementing and improving previous literature that has been restricted to one-dimensional and well-specified cases. Next, we propose the integral PR Wasserstein (IPRW) distance as an alternative to the PRW distance, by averaging rather than optimizing on subspaces. Our complexity bounds can help explain why both PRW and IPRW distances outperform Wasserstein distances empirically in high-dimensional inference tasks. Finally, we consider parametric inference using the PRW distance. We provide an asymptotic guarantee of two types of minimum PRW estimators and formulate a central limit theorem for max-sliced Wasserstein estimator under model misspecification. To enable our analysis on PRW with projection dimension larger than one, we devise a novel combination of variational analysis and statistical theory.

研究动机与目标

• 解决在高维和模型误设设定下最小 Wasserstein 估计量的不良统计行为。
• 通过利用低维投影，克服最优传输中的维数灾难。
• 为超越一维投影的投影鲁棒 OT 提供理论基础。
• 在模型误设条件下，建立最小 PRW 与期望 PRW 估计量的收敛速率与渐近分布。
• 解释 PRW 与 IPRW 在高维任务（如生成建模）中相对于标准 Wasserstein 距离的实证优势。

提出的方法

• 通过在 k 维投影上对 OT 距离取平均，提出积分 PRW (IPRW) 距离，替代 PRW 中的极大化优化。
• 引入变分分析与统计理论的创新结合，以分析 k > 1 时的 PRW。
• 在投影伯恩斯坦尾部条件与 Poincaré 不等式条件下，建立经验 PRW 与 IPRW 的收敛速率。
• 在弱于以往工作的尾部假设下（如次指数 vs. 次高斯），推导 PRW 的集中不等式。
• 为最小 PRW 与期望最小 PRW 估计量提供渐近保证，包括在模型误设下对最大切片 Wasserstein 的中心极限定理。
• 采用投影超梯度上升与黎曼优化方法实现 PRW 的实际计算，并在实验中得到验证。

实验结果

研究问题

• RQ1 在高维与模型误设设定下，PRW 与 IPRW 距离的有限样本与渐近收敛速率为何？
• RQ2 在高维中，PRW 的样本复杂度与集中性质与标准 Wasserstein 距离相比如何？
• RQ3 在模型误设条件下，最小 PRW 与期望 PRW 估计量的渐近分布为何？
• RQ4 在何种条件下，期望 PRW 估计量收敛至最小 PRW 估计量？
• RQ5 在高维推断任务（如生成建模与参数估计）中，PRW 与 IPRW 的实证表现如何？

主要发现

• 在投影伯恩斯坦尾部条件下，当 $ p = 3/2 $ 且 $ k \geq 3 $ 时，IPRW 的收敛速率为 $ n^{-1/k} $。
• 在投影伯恩斯坦尾部条件下，PRW 的收敛速率为 $ n^{-1/k} + n^{-1/6} \sqrt{dk \log n} + n^{-2/3} dk \log n $。
• 当 $ \mu_\star $ 满足投影 Poincaré 不等式时，PRW 的收敛速率提升为 $ n^{-1/k} + n^{-1/2} \sqrt{dk \log n} + n^{-2/3} dk \log n $。
• 本文在模型误设条件下建立了最大切片 Wasserstein 估计量的中心极限定理，扩展了先前结果。
• 实证结果表明，IPRW 与 PRW 在高维推断中优于标准 Wasserstein 距离，且 IPRW 在小样本下更具稳定性。
• 在弱假设下，MEPRW 估计量收敛至 MPRW 估计量，但当违反假设 3.5 时（如在 25 高斯混合模型中）出现收敛失败。