[论文解读] Recent Advances in Optimal Transport for Machine Learning

Eduardo Fernandes Montesuma, Fred Ngolè Mboula+1 more|arXiv (Cornell University)|Jun 28, 2023

Machine Learning and ELM被引用 4

一句话总结

本综述回顾了2012年至2022年期间最优传输（OT）在机器学习中的最新进展，涵盖其在监督学习、无监督学习、迁移学习和强化学习中作为度量、损失函数、正则化项和变换工具的应用。它突出了投影鲁棒和小批量OT等新型计算方法，并展示了OT在生成建模、域自适应和分布强化学习中的作用，提供了理论与实证洞察。

ABSTRACT

Recently, Optimal Transport has been proposed as a probabilistic framework in Machine Learning for comparing and manipulating probability distributions. This is rooted in its rich history and theory, and has offered new solutions to different problems in machine learning, such as generative modeling and transfer learning. In this survey we explore contributions of Optimal Transport for Machine Learning over the period 2012 -- 2023, focusing on four sub-fields of Machine Learning: supervised, unsupervised, transfer and reinforcement learning. We further highlight the recent development in computational Optimal Transport and its extensions, such as partial, unbalanced, Gromov and Neural Optimal Transport, and its interplay with Machine Learning practice.

研究动机与目标

• 提供2012年至2022年期间最优传输在机器学习中作用的全面、最新综述。
• 识别并分析最优传输的近期计算进展，包括投影鲁棒、结构化、神经网络和小批量OT方法。
• 探索OT在四个关键机器学习子领域中的应用：监督学习、无监督学习、迁移学习和强化学习。
• 突出先前综述未涵盖的新贡献，例如在公平性、词典学习和分布强化学习中的OT应用。
• 阐明OT理论与实际机器学习实现之间的相互作用，特别是在深度学习和概率建模中的应用。

提出的方法

• 以最优传输的Monge-Kantorovich（MK）公式作为主要理论基础，将Wasserstein距离定义为将质量从一个分布传输到另一个分布的最小成本。
• 将MK公式应用于定义OT作为度量（如Wasserstein距离）、损失函数（如在WGANs和WDGRL中）和正则化项（如在WAE和WQL中）。
• 引入Knothe-Rubinstein（KR）公式用于生成模型中的可微分OT，实现通过OT层的反向传播。
• 采用Bures-Bernoulli（BB）公式对策略优化中的连续时间动力学进行建模，将其表述为概率测度空间中的梯度流。
• 利用结构化和投影鲁棒OT，提升高维和复杂数据设置下的可扩展性和统计效率。
• 通过Wasserstein中位数和测地线实现数据聚合，支持异质概率分布在域自适应和聚类中的插值与对齐。

实验结果

研究问题

• RQ1 2012年至2022年期间，最优传输如何推动监督学习、无监督学习、迁移学习和强化学习的发展？
• RQ2 哪些关键的计算创新使OT能够融入深度学习和大规模机器学习？
• RQ3 在生成建模和域自适应中，OT如何作为KL散度等传统损失函数的合理替代方案？
• RQ4 OT如何在结构化数据和多源域自适应中实现更公平、更鲁棒的学习？
• RQ5 OT在分布强化学习中的作用是什么，它如何改善不确定性传播和策略优化？

主要发现

• 最优传输提供了统计和拓扑上表现良好的度量（即Wasserstein距离），由于其在弱收敛下的连续性和稳定性，其在生成建模中优于KL散度。
• 采用投影鲁棒和小批量OT方法显著提升了大规模和高维数据下的计算效率与可扩展性。
• Wasserstein GANs（WGANs）和WDGRL通过将OT用作训练损失，在生成建模和域自适应中实现了最先进性能，实现了更稳定的训练动态。
• Wasserstein中位数和测地线实现了概率分布的合理插值与聚合，在域自适应和聚类中有广泛应用。
• 在强化学习中，WQL算法利用Wasserstein中位数更新Q-分布，在分布动力学的理论基础上实现了优异性能。
• 本综述识别出一种日益增长的趋势：使用神经网络参数化OT映射（例如通过ICNNs），从而在现代深度学习架构中实现端到端可微分的OT层。