[论文解读] Scaling Algorithms for Unbalanced Transport Problems

Lénaïc Chizat, Gabriel Peyré+2 more|arXiv (Cornell University)|Jul 20, 2016

3D Shape Modeling and Analysis参考文献 54被引用 80

一句话总结

本文提出了一种基于熵正则化的可扩展算法，用于处理非平衡最优传输问题，将Sinkhorn算法扩展至可处理任意正测度（含质量生成/销毁）的情形。该方法实现了非平衡传输、重心及梯度流的快速、可并行计算，并在形状修改、色彩迁移和生长建模中展现出应用潜力。

ABSTRACT

This article introduces a new class of fast algorithms to approximate variational problems involving unbalanced optimal transport. While classical optimal transport considers only normalized probability distributions, it is important for many applications to be able to compute some sort of relaxed transportation between arbitrary positive measures. A generic class of such "unbalanced" optimal transport problems has been recently proposed by several authors. In this paper, we show how to extend the, now classical, entropic regularization scheme to these unbalanced problems. This gives rise to fast, highly parallelizable algorithms that operate by performing only diagonal scaling (i.e. pointwise multiplications) of the transportation couplings. They are generalizations of the celebrated Sinkhorn algorithm. We show how these methods can be used to solve unbalanced transport, unbalanced gradient flows, and to compute unbalanced barycenters. We showcase applications to 2-D shape modification, color transfer, and growth models.

研究动机与目标

• 通过支持质量变化的任意正测度计算，解决经典最优传输方法仅限于归一化概率测度的局限性。
• 开发高效数值方法以解决非平衡最优传输问题，实现可扩展性与可并行性，克服传统线性规划方法的计算不可行性。
• 将熵正则化与Sinkhorn算法框架推广至非平衡设置，实现非平衡传输、重心及梯度流的实用化计算。
• 为图像处理、计算机图形学与机器学习中需要灵活质量处理的多样化应用，提供统一的计算框架。

提出的方法

• 采用Bregman散度（特别是Kullback-Leibler散度）对非平衡最优传输问题施加熵正则化，以确保凸性与数值稳定性。
• 基于对角缩放（逐点乘法）推导迭代算法，将Sinkhorn算法推广至非平衡设置。
• 将非平衡传输问题建模为带严格凸正则项的凸优化问题，从而在每一步迭代中实现闭式更新。
• 利用Bregman投影与次微分微积分推导传输计划与重心的最优性条件及更新规则。
• 通过利用正则化问题的结构，实现可扩展求解器，支持高效GPU加速与分布式计算。
• 通过将迭代缩放过程适配至更高阶问题，将框架扩展至计算非平衡Wasserstein重心与非平衡梯度流。

实验结果

研究问题

• RQ1 熵正则化如何推广至处理涉及任意正测度（含质量生成或销毁）的非平衡最优传输问题？
• RQ2 从熵正则化导出的非平衡设置下迭代算法的结构为何？其如何保持计算效率与可并行性？
• RQ3 所扩展的Sinkhorn风格算法能否在实际应用中有效计算非平衡重心与非平衡梯度流？
• RQ4 在正则化参数趋于零时，正则化非平衡传输问题的理论性质（特别是收敛性与一致性）如何？
• RQ5 在大规模非平衡传输问题上，所提算法相较于经典线性规划或组合方法在性能与精度上的表现如何？

主要发现

• 所提出的熵正则化框架成功将Sinkhorn算法推广至非平衡最优传输，实现了对任意正测度的快速可扩展计算。
• 迭代算法仅依赖对角缩放操作（逐点乘法），具有高度可并行性，适合GPU加速。
• 该方法在逼近非平衡传输耦合、重心与梯度流方面达到高精度，收敛速率与经典熵正则OT相当。
• 在2D形状修改、色彩迁移与生长建模中的应用展示了该方法在真实世界数据上的实际效用与鲁棒性。
• 理论分析表明，当正则化参数趋于零时，正则化问题收敛至经典非平衡传输解。
• 该框架支持多种散度（KL、TV、鲁棒gamma），可灵活建模不同类型的质量变化与噪声。