[论文解读] When OT meets MoM: Robust estimation of Wasserstein Distance

Guillaume Staerman, Pierre Laforgue+2 more|arXiv (Cornell University)|Jun 18, 2020

Anomaly Detection Techniques and Applications参考文献 45被引用 16

一句话总结

本文提出了一种基于众数平均（MoM）框架的鲁棒Wasserstein距离估计器，以应对数据中的异常值污染问题。通过结合Kantorovich-Rubinstein对偶性与基于MoM的U-统计量，作者提出了具有非渐近界的一致估计器，并在受污染的CIFAR10和Fashion MNIST基准上验证了其在鲁棒化WGAN中的有效性，实现了更低的FID分数。

ABSTRACT

Issued from Optimal Transport, the Wasserstein distance has gained importance in Machine Learning due to its appealing geometrical properties and the increasing availability of efficient approximations. In this work, we consider the problem of estimating the Wasserstein distance between two probability distributions when observations are polluted by outliers. To that end, we investigate how to leverage Medians of Means (MoM) estimators to robustify the estimation of Wasserstein distance. Exploiting the dual Kantorovitch formulation of Wasserstein distance, we introduce and discuss novel MoM-based robust estimators whose consistency is studied under a data contamination model and for which convergence rates are provided. These MoM estimators enable to make Wasserstein Generative Adversarial Network (WGAN) robust to outliers, as witnessed by an empirical study on two benchmarks CIFAR10 and Fashion MNIST. Eventually, we discuss how to combine MoM with the entropy-regularized approximation of the Wasserstein distance and propose a simple MoM-based re-weighting scheme that could be used in conjunction with the Sinkhorn algorithm.

研究动机与目标

• 解决在真实世界机器学习中，数据污染下Wasserstein距离估计缺乏鲁棒性的关键问题。
• 开发在数据污染模型下仍保持一致性和收敛性的Wasserstein距离鲁棒估计器。
• 将MoM方法整合到Wasserstein距离的对偶形式中，以确保次高斯行为与对异常值的鲁棒性。
• 设计一种使用权重裁剪的神经网络计算MoM基Wasserstein估计器的实际算法。
• 在噪声数据条件下，展示所提估计器在鲁棒化WGAN进行生成建模中的实用性。

提出的方法

• 利用Kantorovich-Rubinstein对偶性表述Wasserstein距离，以使MoM可应用于U-统计量。
• 提出三种新型基于MoM的估计器：对偶目标的MoM、带Lipschitz约束的对偶目标MoM，以及MoU（U-统计量的众数）估计器。
• 仅对真实数据分布应用MoM（而非生成样本），通过小批量分块计算众数。
• 设计一种MoM/MoU梯度下降算法，其中判别器网络通过在受污染的小批量上基于众数的损失估计进行训练。
• 在判别器网络中使用权重裁剪以强制实现Lipschitz连续性，与标准WGAN实践保持一致。
• 在每个训练步骤中采用基于分块的众数选择策略，以确保鲁棒性，虽增加计算成本但显著提升对异常值的鲁棒性。

实验结果

研究问题

• RQ1 众数平均（MoM）方法能否与Wasserstein距离的对偶形式有效结合，以在数据污染下获得鲁棒估计器？
• RQ2 在存在异常值的情况下，基于MoM的Wasserstein估计器的理论一致性与非渐近收敛性质为何？
• RQ3 在实践中，分块大小（唯一的调参超参数）的选择如何影响基于MoM的估计器的性能与鲁棒性？
• RQ4 基于MoM的Wasserstein估计能否有效提升WGAN在存在数据异常值时的鲁棒性？
• RQ5 MoMWGAN在受污染的基准（如CIFAR10和Fashion MNIST）上，相较于标准WGAN，在生成质量方面有多大程度的性能提升？

主要发现

• 所提出的基于MoM的估计器在$Γ \cup \mathcal{I}$污染模型下表现出强一致性与次高斯偏差行为。
• 推导出非渐近收敛速率，为污染条件下的有限样本性能提供了理论保证。
• MoMWGAN模型在受污染的CIFAR10上实现了55.9的Fréchet Inception Distance（FID），优于标准WGAN的57，表明鲁棒性提升。
• 在受污染的Fashion MNIST上，MoMWGAN的FID为13.2，而WGAN为13.8，表明在噪声条件下性能持续提升。
• 视觉检查确认，MoMWGAN生成的图像更清晰，未重现噪声伪影，而标准WGAN在CIFAR10上引入像素级噪声时则会复制噪声。
• 敏感性分析表明，分块大小$K_{\mathbf{X}}$显著影响性能，实验中$K_{\mathbf{X}} = 4$取得最优结果。