[论文解读] On Scalable and Efficient Computation of Large Scale Optimal Transport

Yujia Xie, Minshuo Chen+3 more|arXiv (Cornell University)|May 1, 2019

Model Reduction and Neural Networks参考文献 55被引用 7

一句话总结

本文提出 SPOT（可扩展的最优传输推送，Scalable Push-forward of Optimal Transport），一种深度生成建模框架，通过隐式生成模型和原始-对偶随机优化，将最优传输问题表述为极小化-极大化问题。该方法利用神经ODE实现最优传输计划与联合密度的高效计算，在领域自适应任务中实现了最先进性能，且收敛速度显著快于现有方法。

ABSTRACT

Optimal Transport (OT) naturally arises in many machine learning applications, yet the heavy computational burden limits its wide-spread uses. To address the scalability issue, we propose an implicit generative learning-based framework called SPOT (Scalable Push-forward of Optimal Transport). Specifically, we approximate the optimal transport plan by a pushforward of a reference distribution, and cast the optimal transport problem into a minimax problem. We then can solve OT problems efficiently using primal dual stochastic gradient-type algorithms. We also show that we can recover the density of the optimal transport plan using neural ordinary differential equations. Numerical experiments on both synthetic and real datasets illustrate that SPOT is robust and has favorable convergence behavior. SPOT also allows us to efficiently sample from the optimal transport plan, which benefits downstream applications such as domain adaptation.

研究动机与目标

• 解决高维设置下大规模最优传输计算不可行的问题。
• 为下游应用（如领域自适应）实现最优传输计划与联合密度的高效计算。
• 克服现有随机算法仅计算Wasserstein距离而无法获得传输计划的局限性。
• 利用深度生成模型与神经ODE实现隐式、可扩展且可微的传输映射。
• 开发一种支持从最优传输计划高效采样且保持高保真度的框架。

提出的方法

• 通过潜在变量 Z ∼ ρ 的推送映射 G(Z) = [GX(Z), GY(Z)] 近似最优传输计划 γ*。
• 将最优传输问题表述为约束最小化问题：最小化 E[c(GX(Z), GY(Z))]，约束条件为 GX(Z) ∼ μ 且 GY(Z) ∼ ν。
• 使用神经网络近似的对偶变量进行Lagrangian松弛，将问题转化为极小化-极大化优化问题。
• 采用原始-对偶随机梯度算法求解所得的极小化-极大化问题，以实现可扩展性与高效性。
• 利用神经ODE建模潜在空间到连续变换的映射，以恢复最优传输计划的联合密度。
• 通过DASPOT将该框架集成到领域自适应中，采用双判别器与共享潜在空间，实现源域与目标域的对齐。

实验结果

研究问题

• RQ1 我们能否利用深度生成模型高效计算高维连续分布的最优传输计划？
• RQ2 采用神经网络近似对偶变量的极小化-极大化表述，是否能实现可扩展且可微的最优传输计算？
• RQ3 通过推送映射实现的隐式生成建模，是否能实现最优传输计划的高质量采样与密度估计？
• RQ4 所提出的框架在准确率与训练效率方面，是否能超越现有基于最优传输的领域自适应方法？
• RQ5 神经ODE在多大程度上能从潜在变量变换中恢复最优传输计划的联合密度？

主要发现

• DASPOT在MNIST → USPS领域自适应任务中达到97.5%的准确率，优于DeepJDOT（95.7%）与StochJDOT（93.6%）。
• SPOT将MNIST → USPS任务中达到95%准确率的训练时间缩短至169秒，相较DeepJDOT的518秒显著提升效率。
• 该框架在Photo-Monet与Edges-Shoes数据集上成功生成了高质量的成对图像，保持了语义与结构的一致性。
• 神经ODE成功实现了从潜在推送映射中对最优传输计划联合密度的精确恢复。
• 采用神经网络对偶变量的极小化-极大化表述，即使在高维设置下也能实现稳定且可扩展的优化。
• SPOT支持从最优传输计划中高效采样，这对领域自适应与资源分配等实际应用至关重要。