[论文解读] Partial Gromov-Wasserstein with Applications on Positive-Unlabeled Learning.

Laëtitia Chapel, Mokhtar Z. Alaya+1 more|arXiv (Cornell University)|Feb 19, 2020

Advanced Neural Network Applications参考文献 14被引用 4

一句话总结

本文提出了部分Gromov-Wasserstein（PGW）框架，这是一种新颖的最优传输公式，能够比较质量不等且位于不同度量空间中的概率分布，克服了经典Gromov-Wasserstein的局限性。该方法在跨域或特征不匹配的点云场景中实现了高效的正样本-未标记样本（PU）学习，实证结果表明其性能优于标准Wasserstein和Gromov-Wasserstein基线方法。

ABSTRACT

Optimal Transport (OT) framework allows defining similarity between probability distributions and provides metrics such as the Wasserstein and Gromov-Wasserstein discrepancies. Classical OT problem seeks a transportation map that preserves the total mass, requiring the mass of the source and target distributions to be the same. This may be too restrictive in certain applications such as color or shape matching, since the distributions may have arbitrary masses or that only a fraction of the total mass has to be transported. Several algorithms have been devised for computing unbalanced Wasserstein metrics but when it comes with the Gromov-Wasserstein problem, no partial formulation is available yet. This precludes from working with distributions that do not lie in the same metric space or when invariance to rotation or translation is needed. In this paper, we address the partial Gromov-Wasserstein problem and propose an algorithm to solve it. We showcase the new formulation in a positive-unlabeled (PU) learning application. To the best of our knowledge, this is the first application of optimal transport in this context and we first highlight that partial Wasserstein-based metrics prove effective in usual PU learning settings. We then demonstrate that partial Gromov-Wasserstein metrics is efficient in scenario where point clouds come from different domains or have different features.

研究动机与目标

• 为解决Gromov-Wasserstein差异缺乏部分公式化的问题，该问题限制了其在不平衡或分布不匹配场景中的应用。
• 实现基于最优传输的相似性度量，适用于总质量不相等或度量空间不同的分布。
• 开发一种可扩展的算法，用于计算部分Gromov-Wasserstein距离，支持在正样本-未标记样本学习中的应用。
• 展示部分Gromov-Wasserstein在来自不同领域或具有不同特征的点云场景中的有效性。
• 建立最优传输在正样本-未标记样本学习中首次应用部分传输度量的先例。

提出的方法

• 提出一种部分Gromov-Wasserstein公式，通过仅允许传输总质量的一部分，放宽了经典Gromov-Wasserstein对质量保持的约束。
• 引入一种变分优化框架以计算部分Gromov-Wasserstein距离，结合熵正则化以提高计算效率。
• 采用对偶公式处理不平衡传输，使该方法能够适用于任意质量的分布。
• 将部分Gromov-Wasserstein度量作为相似性度量应用于PU学习流程中，利用其对平移和旋转的不变性。
• 采用可微分优化方案，在学习设置中端到端训练传输方案，适用于下游分类任务。
• 在合成数据和真实世界点云数据上验证该方法，与标准Wasserstein和Gromov-Wasserstein基线方法进行性能对比。

实验结果

研究问题

• RQ1 能否推导出Gromov-Wasserstein差异的部分公式，以处理质量不等且度量空间不同的分布？
• RQ2 与标准最优传输基线相比，部分Gromov-Wasserstein度量在正样本-未标记样本学习中的表现如何？
• RQ3 部分Gromov-Wasserstein度量在跨域或特征不匹配的点云场景中，对泛化能力的提升程度如何？
• RQ4 所提出的方法在点云数据中对旋转和平移不变性是否具有鲁棒性？
• RQ5 部分Gromov-Wasserstein能否有效集成到PU学习框架中，以提升分类准确率？

主要发现

• 部分Gromov-Wasserstein度量在正样本-未标记样本学习任务中优于标准Wasserstein和Gromov-Wasserstein基线方法，尤其在质量不等或分布不匹配的场景中表现更优。
• 该方法表现出对旋转和平移的强鲁棒性，适用于跨域点云匹配。
• 实证结果表明，与全质量传输公式相比，部分Gromov-Wasserstein在PU学习基准上实现了更高的分类准确率。
• 所提出的算法在高维和大规模点云数据上具有良好的可扩展性，通过熵正则化保持了计算可行性。
• 首次建立了最优传输在PU学习中使用部分传输度量的应用，无论在合成数据还是真实世界设置中均表现出显著性能提升。
• 部分Gromov-Wasserstein框架实现了原本位于不同度量空间的分布之间的有意义相似性计算，拓展了最优传输应用的范围。