[论文解读] Statistical, Robustness, and Computational Guarantees for Sliced Wasserstein Distances

Sloan Nietert, Ritwik Sadhu+2 more|arXiv (Cornell University)|Oct 17, 2022

Statistical Methods and Inference被引用 4

一句话总结

本文对切片Wasserstein距离提供了全面的理论分析，建立了在对数凹分布下的快速经验收敛速率，实现了与鲁棒均值估计等价的无维鲁棒性保证，以及蒙特卡洛方法和次梯度方法的计算复杂度边界。结果表明，更高维度可加速平均切片估计中的数值积分误差，并证明了最大切片优化的O(ε⁻⁴)复杂度边界。

ABSTRACT

Sliced Wasserstein distances preserve properties of classic Wasserstein distances while being more scalable for computation and estimation in high dimensions. The goal of this work is to quantify this scalability from three key aspects: (i) empirical convergence rates; (ii) robustness to data contamination; and (iii) efficient computational methods. For empirical convergence, we derive fast rates with explicit dependence of constants on dimension, subject to log-concavity of the population distributions. For robustness, we characterize minimax optimal, dimension-free robust estimation risks, and show an equivalence between robust sliced 1-Wasserstein estimation and robust mean estimation. This enables lifting statistical and algorithmic guarantees available for the latter to the sliced 1-Wasserstein setting. Moving on to computational aspects, we analyze the Monte Carlo estimator for the average-sliced distance, demonstrating that larger dimension can result in faster convergence of the numerical integration error. For the max-sliced distance, we focus on a subgradient-based local optimization algorithm that is frequently used in practice, albeit without formal guarantees, and establish an $O(ε^{-4})$ computational complexity bound for it. Our theory is validated by numerical experiments, which altogether provide a comprehensive quantitative account of the scalability question.

研究动机与目标

• 量化切片Wasserstein距离在统计、鲁棒性和计算维度上的可扩展性。
• 推导平均切片和最大切片Wasserstein距离经验估计的快速显式收敛速率，并分析其与维度的依赖关系。
• 刻画数据污染下的鲁棒估计风险，并建立其与鲁棒均值估计的等价性。
• 分析平均切片距离的蒙特卡洛积分计算效率，以及最大切片距离的次梯度方法的计算效率。
• 通过合成数据和真实世界数据的数值实验验证理论结果，包括在数据污染下的GAN训练。

提出的方法

• 在对数凹总体分布下，推导出切片Wasserstein距离的快速经验收敛速率，明确常数对维度的依赖关系。
• 建立鲁棒切片1-Wasserstein估计与鲁棒均值估计之间的等价性，从而实现已知保证的迁移。
• 分析平均切片距离的蒙特卡洛积分误差，表明由于投影距离函数方差减小，更高维度可导致更快收敛。
• 为用于最大切片距离估计的基于次梯度的局部优化算法提供O(ε⁻⁴)的计算复杂度边界。
• 利用集中不等式和度量熵论证，推导估计误差和鲁棒性风险的高概率边界。
• 通过高斯混合模型、中位数计算和数据污染下的GAN训练等数值实验验证理论结果。

实验结果

研究问题

• RQ1 在对数凹分布下，切片Wasserstein距离的显式经验收敛速率是什么？其与维度的依赖关系如何？
• RQ2 数据污染如何影响切片Wasserstein距离的估计？其极小极大最优鲁棒风险是什么？
• RQ3 切片Wasserstein距离的鲁棒性能否以无维方式表征？其与鲁棒均值估计的关系如何？
• RQ4 平均切片距离的蒙特卡洛积分计算误差如何随维度变化？
• RQ5 基于次梯度的优化算法在最大切片Wasserstein距离中的计算复杂度如何？能否建立边界？

主要发现

• 在对数凹分布下，建立了平均切片Wasserstein距离的显式经验收敛速率，且常数对维度有明确依赖，达到近参数化速率。
• 切片1-Wasserstein距离的鲁棒估计具有无维性且为极小极大最优，其风险与鲁棒均值估计等价。
• 平均切片距离的蒙特卡洛估计器在更高维度下表现出更快的数值积分误差收敛，原因在于投影距离函数方差降低。
• 对于最大切片Wasserstein距离，基于次梯度的局部优化算法在ε-精度下的计算复杂度边界为O(ε⁻⁴)。
• 数值实验验证了理论预测，显示在高维下收敛性改善，并在GAN训练中表现出对污染数据的鲁棒性。
• 鲁棒性和计算方面的理论保证在实际场景中得到验证，包括使用污染MNIST数据的生成建模。