[论文解读] The Unbalanced Gromov Wasserstein Distance: Conic Formulation and Relaxation

Thibault Séjourné, François‐Xavier Vialard+1 more|arXiv (Cornell University)|Sep 9, 2020

Topological and Geometric Data Analysis参考文献 47被引用 34

一句话总结

引入两个不平衡的 Gromov–Wasserstein 形式（UGW 发散和 CGW 距离）用于比较具有任意正测度的度量测度空间，并提供高效的 GPU 友好算法及理论保证。

ABSTRACT

Comparing metric measure spaces (i.e. a metric space endowed with aprobability distribution) is at the heart of many machine learning problems. The most popular distance between such metric measure spaces is theGromov-Wasserstein (GW) distance, which is the solution of a quadratic assignment problem. The GW distance is however limited to the comparison of metric measure spaces endowed with a probability distribution. To alleviate this issue, we introduce two Unbalanced Gromov-Wasserstein formulations: a distance and a more tractable upper-bounding relaxation.They both allow the comparison of metric spaces equipped with arbitrary positive measures up to isometries. The first formulation is a positive and definite divergence based on a relaxation of the mass conservation constraint using a novel type of quadratically-homogeneous divergence. This divergence works hand in hand with the entropic regularization approach which is popular to solve large scale optimal transport problems. We show that the underlying non-convex optimization problem can be efficiently tackled using a highly parallelizable and GPU-friendly iterative scheme. The second formulation is a distance between mm-spaces up to isometries based on a conic lifting. Lastly, we provide numerical experiments onsynthetic examples and domain adaptation data with a Positive-Unlabeled learning task to highlight the salient features of the unbalanced divergence and its potential applications in ML.

研究动机与目标

• 解释在不要求概率测度的情况下比较 mm-空间的必要性（质量变化和离群值）。
• 定义两种不平衡形式，将 GW 扩展到任意正测量，直至等距变换。
• 确立理论性质，包括确定性以及 UGW 与 CGW 之间的界性关系。
• 开发利用熵正则化与 Sinkhorn 迭代的高效数值方案以处理大尺度问题。
• 结合合成数据与领域自适应实验（包括正-未标学习任务）来说明方法。

提出的方法

• 将不平衡 GW (UGW) 定义为运输项与边缘的二阶 ϕ-散度惩罚之和的下确界，得到一个 2-齐次的发散。
• 引入二次张量化的 ϕ-散度 Dϕ⊗，在不平衡设置下比较边缘。
• 给出将 UGW 重新表述为一个类似运输的项 Lc 与质量创造/消耗项的分解，便于分析（引理 1）。
• 给出建立在圆锥提升到 𝔠[ℝ+] 上并使用圆锥距离 Д 的 Conic Gromov-Wasserstein (CGW) 距离，得到一个在等距下的距离（定理 1）。
• 证明在 Д 是圆锥度量时，CGW 上界于 UGW（CGW ≤ UGW），且 CGW 是一个距离。
• 在常规条件下证明 UGW 和 CGW 的极小值存在性（命题 1、3）。
• 开发一个双凸、带熵正则化的 UGW 弛放（UGWε）以及交替的 Sinkhorn 型优化（算法 1）。
• 提供相应的 CGW 弛放并讨论紧性结果（定理 3）。

实验结果

研究问题

• RQ1 mm-空间在不强制质量守恒的情况下，是否可以在等距意义上有意义地进行比较？
• RQ2 如何定义一个可计算的、不平衡的 GW 类比，利用熵正则化？
• RQ3 不平衡 GW 发散（UGW）与圆锥 GW 距离（CGW）之间的关系如何，UGW 是否上界 CGW？
• RQ4 在什么条件下，对 GW 和 CGW 的双凸、带熵正则化的弛放是紧的？
• RQ5 这些不平衡的形式在实践中对合成数据和领域自适应任务（如正-未标记学习）是否表现良好？

主要发现

• UGW 提供一个 2-齐次的发散，用于放宽质量守恒，可比较具有任意正测量的 mm-空间。
• CGW 定义了在等距下的 mm-空间真距离，且 CGW 上界于 UGW（CGW ≤ UGW）。
• 在实际条件下（紧空间、适当的 ϕ-散度和 λ），可证明 UGW 和 CGW 的极小值存在性。
• 一个双凸、带熵正则化的弛放（UGWε）提供一种 GPU 友好的优化方案，具备收敛性并可用于 ML 任务中的反向传播。
• 对于某些核（例如平方距离），双凸弛放是紧的，确保恢复的解是原问题的最优解。
• 数值实验显示对质量不平衡具有鲁棒性，并与领域自适应和正-未标记学习任务相契合，在给定情境中优于或等同于相关竞品。