[论文解读] Outlier-Robust Optimal Transport

Debarghya Mukherjee, Aritra Guha+3 more|arXiv (Cornell University)|Dec 14, 2020

Advanced Statistical Process Monitoring参考文献 32被引用 12

一句话总结

本文提出了一种抗异常值的最优传输（OT）公式，通过截断传输成本来减轻对抗性异常值的影响，从而在Huber污染模型下实现鲁棒的统计估计。该方法等价于具有截断成本的标准OT，可无缝集成到现有的计算OT算法中，并在合成数据和真实数据上的均值估计与异常值检测任务中表现出更优性能。

ABSTRACT

Optimal transport (OT) measures distances between distributions in a way that depends on the geometry of the sample space. In light of recent advances in computational OT, OT distances are widely used as loss functions in machine learning. Despite their prevalence and advantages, OT loss functions can be extremely sensitive to outliers. In fact, a single adversarially-picked outlier can increase the standard $W_2$-distance arbitrarily. To address this issue, we propose an outlier-robust formulation of OT. Our formulation is convex but challenging to scale at a first glance. Our main contribution is deriving an \emph{equivalent} formulation based on cost truncation that is easy to incorporate into modern algorithms for computational OT. We demonstrate the benefits of our formulation in mean estimation problems under the Huber contamination model in simulations and outlier detection tasks on real data.

研究动机与目标

• 为解决标准最优传输（OT）对异常值的极端敏感性，该敏感性可能导致Wasserstein-2距离被任意放大。
• 开发一种凸的、计算上可行的OT公式，即使多达ε比例的数据点为对抗性异常值，仍保持鲁棒性。
• 在ε污染模型下实现鲁棒的最小Kantorovich估计（MKE），且不牺牲与现代计算OT方法的兼容性。
• 展示所提公式的实用性，包括在Huber ε污染模型下的均值估计以及真实世界中的异常值检测任务。

提出的方法

• 提出一种鲁棒OT公式，通过将成本函数在阈值λ处截断来修改传输成本函数，从而有效限制高成本传输的影响。
• 证明具有截断成本的鲁棒OT问题等价于对扰动分布施加总变差（TV）范数约束的约束OT问题。
• 推导出一种等价的对偶公式，通过将问题重新表述为具有修改后成本矩阵的标准OT，从而允许使用标准OT求解器。
• 利用具有截断成本的OT与TV约束OT之间的等价性，实现使用现有计算OT算法的高效优化。
• 将鲁棒OT损失用作MKE问题中标准OT的替代品，例如在污染环境下的生成建模与均值估计。
• 通过识别在截断公式下需要异常高传输成本的样本，将该方法应用于异常值检测。

实验结果

研究问题

• RQ1 能否在不牺牲计算效率的前提下，使最优传输对对抗性异常值具有鲁棒性？
• RQ2 是否存在一种等价的鲁棒OT公式，可实现与现有计算OT算法的集成？
• RQ3 与标准OT及其他散度相比，所提出的鲁棒OT公式在Huber ε污染模型下的均值估计中表现如何？
• RQ4 所提出的鲁棒OT公式能否用于真实数据集中的异常值检测？
• RQ5 在鲁棒估计背景下，成本截断与TV约束OT之间存在何种理论联系？

主要发现

• 所提出的具有成本截断的鲁棒OT公式在数学上等价于TV约束OT问题，从而实现了理论保证，并可与现有求解器无缝集成。
• 在n=1000、ε=0.2的ε污染模型下，当污染分布为Cauchy(0.1·1₅, I₅)时，ROBOT（本方法）在JS损失上达到0.17±0.05，SH损失为0.17±0.05，优于标准OT和f-散度GANs。
• 在更严重的污染情况下（Cauchy(2·1₅, I₅)），ROBOT将JS损失降低至0.39±0.3，而基线f-散度GANs的损失更高，为0.26±0.06，显示出更强的鲁棒性。
• 该方法通过识别在截断成本公式下需要异常高传输成本的数据点，成功检测出异常值。
• 理论分析表明，截断成本公式可避免标准OT对异常值的无界敏感性，即使异常值极端极端。
• 在真实数据上的实证结果表明，该鲁棒OT公式可实现有效的异常值检测，性能与现有方法相当或更优。