[论文解读] Unbalanced Optimal Transport through Non-negative Penalized Linear Regression

Laëtitia Chapel, Rémi Flamary+3 more|arXiv (Cornell University)|Jun 8, 2021

Multi-Criteria Decision Making被引用 9

一句话总结

本文将不平衡最优传输（UOT）重新表述为非负惩罚线性回归问题，通过期望最大化（MM）方法和正则化路径计算，实现了新颖的算法。文中提出了KL和ℓ₂-惩罚UOT的乘法更新算法，并首次为ℓ₂-UOT提出了正则化路径算法，提供高效、稀疏的解法，支持GPU加速，并具有收敛性保证。

ABSTRACT

This paper addresses the problem of Unbalanced Optimal Transport (UOT) in which the marginal conditions are relaxed (using weighted penalties in lieu of equality) and no additional regularization is enforced on the OT plan. In this context, we show that the corresponding optimization problem can be reformulated as a non-negative penalized linear regression problem. This reformulation allows us to propose novel algorithms inspired from inverse problems and nonnegative matrix factorization. In particular, we consider majorization-minimization which leads in our setting to efficient multiplicative updates for a variety of penalties. Furthermore, we derive for the first time an efficient algorithm to compute the regularization path of UOT with quadratic penalties. The proposed algorithm provides a continuity of piece-wise linear OT plans converging to the solution of balanced OT (corresponding to infinite penalty weights). We perform several numerical experiments on simulated and real data illustrating the new algorithms, and provide a detailed discussion about more sophisticated optimization tools that can further be used to solve OT problems thanks to our reformulation.

研究动机与目标

• 通过放松边际约束，解决经典最优传输在分布不均衡或含噪声场景下的局限性。
• 开发无需熵正则化的不平衡最优传输（UOT）高效稀疏求解器。
• 实现ℓ₂-惩罚UOT的完整正则化路径计算，这对于超参数调优至关重要。
• 利用反问题与非负矩阵分解（NMF）领域的现有工具，设计新型UOT算法。
• 提供一个统一框架，将UOT与线性回归联系起来，开辟新的算法与理论研究路径。

提出的方法

• 将UOT重新表述为具有结构化稀疏设计矩阵的凸、非负惩罚线性回归问题。
• 应用期望最大化（MM）方法，推导Bregman散度（包括KL与ℓ₂惩罚）的乘法更新规则。
• 提出一种受LARS启发的新算法，用于计算ℓ₂-惩罚UOT的完整正则化路径。
• 利用设计矩阵的结构，实现高效的GPU加速更新与低复杂度迭代。
• 通过切线近似法对凹成本函数进行上界逼近，将框架扩展至非线性UOT。
• 确保目标函数单调递减，并继承来自成熟MM理论的收敛性保证。

实验结果

研究问题

• RQ1 不平衡最优传输能否被重新表述为非负惩罚线性回归问题，从而解锁新的算法工具？
• RQ2 如何将期望最大化方法适配以推导KL与ℓ₂-惩罚UOT的高效乘法更新？
• RQ3 是否能够计算ℓ₂-惩罚UOT的完整正则化路径？该路径能提供关于支撑集演化过程的何种洞见？
• RQ4 所提出的算法在效率与稀疏性方面与现有熵正则化或L-BFGS-B求解器相比表现如何？
• RQ5 线性回归的重新表述能否扩展至具有凹成本函数的非线性UOT问题？

主要发现

• 所提出的基于MM的KL与ℓ₂-惩罚UOT乘法更新算法，确保目标函数单调递减，且每轮迭代计算复杂度低，易于实现。
• 该算法支持GPU加速，并继承自成熟MM理论的收敛性保证。
• 针对ℓ₂-惩罚UOT，首次提出正则化路径算法，可计算所有惩罚权重下的分段线性解。
• 正则化路径揭示了支撑集演化的连续性，随着惩罚权重增加，解逐渐收敛至平衡OT解。
• 该重新表述使能应用反问题与NMF领域的先进工具，提示了高效求解器与新型UOT公式的潜在研究方向。
• 数值实验验证了所提算法在合成数据与真实世界数据上的高效性与鲁棒性。