[论文解读] Sliced Gromov-Wasserstein

Titouan Vayer, Rémi Flamary+3 more|arXiv (Cornell University)|May 24, 2019

Adversarial Robustness in Machine Learning参考文献 59被引用 25

一句话总结

本文提出了切片格罗莫夫-沃瑟斯坦（Sliced Gromov-Wasserstein, SGW）距离，这是一种用于比较不同度量空间中概率分布的计算高效近似方法。通过利用一维格罗莫夫-沃瑟斯坦距离的闭式解并结合随机投影的平均化处理，SGW 实现了 O(Ln log n) 的时间复杂度——比标准 GW 快数个数量级，同时在大规模机器学习任务（如 GAN 训练和网格匹配）中保持了关键性质。

ABSTRACT

Recently used in various machine learning contexts, the Gromov-Wasserstein distance (GW) allows for comparing distributions whose supports do not necessarily lie in the same metric space. However, this Optimal Transport (OT) distance requires solving a complex non convex quadratic program which is most of the time very costly both in time and memory. Contrary to GW, the Wasserstein distance (W) enjoys several properties (e.g. duality) that permit large scale optimization. Among those, the solution of W on the real line, that only requires sorting discrete samples in 1D, allows defining the Sliced Wasserstein (SW) distance. This paper proposes a new divergence based on GW akin to SW. We first derive a closed form for GW when dealing with 1D distributions, based on a new result for the related quadratic assignment problem. We then define a novel OT discrepancy that can deal with large scale distributions via a slicing approach and we show how it relates to the GW distance while being $O(n\log(n))$ to compute. We illustrate the behavior of this so called Sliced Gromov-Wasserstein (SGW) discrepancy in experiments where we demonstrate its ability to tackle similar problems as GW while being several order of magnitudes faster to compute.

研究动机与目标

• 解决格罗莫夫-沃瑟斯坦（GW）距离的高计算成本问题，其时间复杂度为 O(n³)，限制了其在大规模机器学习中的应用。
• 开发一种可扩展的 GW 替代方法，同时保留其在不同度量空间中比较分布的能力。
• 利用一维 GW 的结构，通过随机投影实现高效计算，类似于切片沃瑟斯坦方法。
• 为该切片方法提供理论依据，尽管原始定理 3.1 的证明中存在已知错误。
• 在大规模应用（如 GAN 训练和 3D 网格匹配）中展示 SGW 的实际有效性。

提出的方法

• 通过一个关于欧氏距离矩阵的二次分配问题（QAP）的新结果，推导出一维概率分布之间格罗莫夫-沃瑟斯坦距离的闭式解。
• 将切片格罗莫夫-沃瑟斯坦（SGW）差异定义为：将输入分布随机投影到单位球面上后，对 L 个投影的 1D GW 距离取平均。
• 利用排序和一维最优传输方法，实现每个投影下 1D GW 距离的 O(n log n) 高效计算。
• 提出一种算法：采样 L 个随机方向，对数据进行投影，对每个投影计算 1D GW，并将结果平均以形成 SGW 距离。
• 通过在正交变换下最小化数据，引入一种旋转不变变体 RISW，提升对旋转的鲁棒性。
• 通过高效的数值技巧实现方法优化，将每个投影的计算成本降低至 O(n) 级别，支持大规模部署。

实验结果

研究问题

• RQ1 能否采用基于切片的方法来近似格罗莫夫-沃瑟斯坦距离，同时保持计算效率？
• RQ2 切片格罗莫夫-沃瑟斯坦距离是否保留了 GW 的关键理论性质，例如当分布同构时，其值为 0？
• RQ3 在计算复杂度和大规模学习任务中的性能方面，SGW 与 GW 和切片沃瑟斯坦相比如何？
• RQ4 SGW 是否能在深度生成模型（如 GAN）中有效应用，其中分布比较至关重要？
• RQ5 SGW 差异是否对输入数据的旋转保持不变？与切片沃瑟斯坦的旋转不变变体相比表现如何？

主要发现

• 切片格罗莫夫-沃瑟斯坦（SGW）距离的计算复杂度为 O(Ln log n)，显著快于标准 GW 的 O(n³) 复杂度。
• SGW 保留了关键性质：当 SGW(μ, ν) = 0 时，意味着 GW₂(d, μ, ν) = 0，确保在同构条件下与原始 GW 距离的一致性。
• 在螺旋数据集上的实验表明，使用旋转不变变体 RISGW 时，SGW 对旋转保持不变，而标准 SW 则不然。
• 在 GAN 训练中，SGW 能够有效学习 2D 和 3D 分布，生成样本在 1000 个训练周期内收敛至目标分布。
• 在网格匹配和生成建模等任务中，SGW 的性能与 GW 相当，但计算速度快数个数量级。
• 尽管定理 3.1 的原始证明中存在已知错误，但数值模拟表明论文的理论结论在实践中依然成立，且该方法保持有效。