[论文解读] Subspace Robust Wasserstein Distances

François-Pierre Paty, Marco Cuturi|arXiv (Cornell University)|Jan 25, 2019

Point processes and geometric inequalities被引用 55

一句话总结

本文提出 Subspace Robust Wasserstein Distances (SRW) 作为最优传输的鲁棒变体，使用一个 k 维子空间来定义最大-最小（或最小-最大）传输成本，提供一个紧致的凸松弛以及用于计算的熵正则化算法。

ABSTRACT

Making sense of Wasserstein distances between discrete measures in high-dimensional settings remains a challenge. Recent work has advocated a two-step approach to improve robustness and facilitate the computation of optimal transport, using for instance projections on random real lines, or a preliminary quantization of the measures to reduce the size of their support. We propose in this work a "max-min" robust variant of the Wasserstein distance by considering the maximal possible distance that can be realized between two measures, assuming they can be projected orthogonally on a lower $k$-dimensional subspace. Alternatively, we show that the corresponding "min-max" OT problem has a tight convex relaxation which can be cast as that of finding an optimal transport plan with a low transportation cost, where the cost is alternatively defined as the sum of the $k$ largest eigenvalues of the second order moment matrix of the displacements (or matchings) corresponding to that plan (the usual OT definition only considers the trace of that matrix). We show that both quantities inherit several favorable properties from the OT geometry. We propose two algorithms to compute the latter formulation using entropic regularization, and illustrate the interest of this approach empirically.

研究动机与目标

• 动机：在高维下标准 OT 的不稳定性及对鲁棒度量的需求。
• 引入 Wasserstein 距离的投影和子空间鲁棒性概念。
• 推导一个凸松弛，使之化为一个低秩特征值目标。
• 提供通过熵正则化与鞍点优化来计算 SRW 的算法。
• 展示在合成数据和真实数据上的鲁棒性与实际性能。

提出的方法

• 定义 k 维投影鲁棒 Wasserstein 距离 PRW 和 k 维子空间鲁棒 Wasserstein 距离 SRW。
• 证明 SRW 可以写成对传输计划的最小化，等于位移二阶矩 V_pi 的前 k 个特征值之和。
• 证明一个紧致的凸松弛（定理1），使 SRW^2 等于对 k 维 Omega 的最大化的 Wasserstein 成本，该成本使用 Mahalanobis 距离 d_Omega。
• 提出计算策略：投影超梯度法和带熵正则化的 Frank-Wolfe 法，用以优化 Omega 与传输计划。
• 讨论初始化与停止准则，包括暖启动和从 k = d 递减到 1 的迭代方案。

实验结果

研究问题

• RQ1 如何通过子空间投影使 Wasserstein 距离对高维扰动具有鲁棒性？
• RQ2 我们能否将最大-最小投影问题重新表述为可解的凸松弛？
• RQ3 从几何和距离的角度看，SRW 与标准 OT 之间的关系是什么？
• RQ4 如何利用熵正则化和鞍点优化高效计算 SRW？
• RQ5 SRW 距离是否对噪声具有鲁棒性并保留测地线结构？

主要发现

• SRW 继承了关键的 OT 性质，并且在维度相关常数的范围内等价于 Wasserstein，给出 S_k 与 W 的显式界。
• SRW 在 SRW 空间中定义了一条测地线、恒定速度的插值，呼应 OT 的测地线结构。
• 位移协方差矩阵的前 k 个特征值之和决定 SRW，便于进行计算的凸松弛。
• 提出两种实用算法：投影型超梯度法和带熵正则化的 Frank-Wolfe 法，均利用内部的 OT 求解。
• 在碎片化超立方体、多变量高斯样本等设置，以及真实电影剧本数据上的实证结果，展示了 SRW 对噪声的鲁棒性以及在维度变化下的优越表现。