[论文解读] Partial Optimal Transport with Applications on Positive-Unlabeled Learning

Laëtitia Chapel, Mokhtar Z. Alaya+1 more|arXiv (Cornell University)|Feb 19, 2020

Advanced Neural Network Applications参考文献 39被引用 10

一句话总结

该论文通过引入虚点来处理质量不等的问题，提出了部分Wasserstein和Gromov-Wasserstein最优传输的精确算法，实现了无需熵正则化的稀疏精确解。该方法通过在无标签数据中识别正样本，即使在不同域之间也能实现有效的正样本-无标签学习，在基准数据集上达到最先进性能。

ABSTRACT

Classical optimal transport problem seeks a transportation map that preserves the total mass betwenn two probability distributions, requiring their mass to be the same. This may be too restrictive in certain applications such as color or shape matching, since the distributions may have arbitrary masses and/or that only a fraction of the total mass has to be transported. Several algorithms have been devised for computing partial Wasserstein metrics that rely on an entropic regularization, but when it comes with exact solutions, almost no partial formulation of neither Wasserstein nor Gromov-Wasserstein are available yet. This precludes from working with distributions that do not lie in the same metric space or when invariance to rotation or translation is needed. In this paper, we address the partial Wasserstein and Gromov-Wasserstein problems and propose exact algorithms to solve them. We showcase the new formulation in a positive-unlabeled (PU) learning application. To the best of our knowledge, this is the first application of optimal transport in this context and we first highlight that partial Wasserstein-based metrics prove effective in usual PU learning settings. We then demonstrate that partial Gromov-Wasserstein metrics is efficient in scenario where point clouds come from different domains or have different features.

研究动机与目标

• 解决经典最优传输要求源分布与目标分布总质量相等的局限性。
• 为部分Wasserstein和Gromov-Wasserstein问题开发精确的、非正则化的解法。
• 在分布位于不同度量空间的异质设置下实现正样本-无标签学习。
• 展示部分-Gromov-Wasserstein在存在领域偏移或特征不同的场景下的有效性。
• 提供一种稀疏的精确传输方案，以提升PU学习中可解释性与性能。

提出的方法

• 引入虚点扩展边缘分布，将部分OT问题转化为具有精确解的标准Wasserstein问题。
• 使用Frank-Wolfe算法求解部分Gromov-Wasserstein问题，依赖于迭代的部分-W计算。
• 采用Wasserstein重心初始化以提升非凸GW问题的收敛性。
• 在传输方案中应用分组约束，将整个无标签点分配给虚点，实现负样本的清晰识别。
• 利用传输方案的稀疏结构避免熵正则化，保持精确性。
• 利用传输矩阵通过识别与正类最相似的无标签点来分配PU学习中的标签。

实验结果

研究问题

• RQ1 能否在不使用熵正则化的情况下，形式化并求解精确的部分最优传输？
• RQ2 与现有方法相比，部分Wasserstein在正样本-无标签学习中的表现如何？
• RQ3 部分Gromov-Wasserstein能否有效处理来自不同领域或具有不同特征的分布？
• RQ4 使用虚点和分组约束是否能改善PU学习中负样本的识别？
• RQ5 该方法在多样化的数据集和领域偏移场景下的准确率与鲁棒性如何？

主要发现

• 所提出的精确部分-W和部分-GW方法在PU学习中实现了最先进准确率，所有数据集的准确率标准差均低于0.021。
• 在Mushrooms数据集中，该方法达到了51.8%的准确率，标准差为0.008，优于基线方法。
• 在USPS数据集中，该方法实现了16.7%的准确率，标准差仅为0.004，表明具有高度稳定性。
• 在跨域场景（如surf c → surf d）中，部分-GW方法显著优于其他方法，标准差为0.020，准确率为0.013。
• 分组约束的使用实现了负样本的清晰分离，如传输矩阵所示，无标签正样本被完全分配给虚点。
• 该方法在多样化的数据集（包括MNIST、Connect-4和Spambase）上表现出鲁棒性，性能一致且方差低。