[论文解读] On Robust Optimal Transport: Computational Complexity and Barycenter Computation

Khang Le, Huy Hoang Nguyen+4 more|arXiv (Cornell University)|Feb 13, 2021

Markov Chains and Monte Carlo Methods参考文献 37被引用 4

一句话总结

本文通过KL散度松弛边缘约束，提出了一种鲁棒最优传输（ROT），利用基于Sinkhorn的算法实现更快计算，时间复杂度为Õ(n²/ε)。提出RobustIBP以实现鲁棒中位数计算，在m=2时达到Õ(mn²/ε)的复杂度，优于以往方法，实现了高效且鲁棒的生成建模与数据污染下的域自适应。

ABSTRACT

We consider robust variants of the standard optimal transport, named robust optimal transport, where marginal constraints are relaxed via Kullback-Leibler divergence. We show that Sinkhorn-based algorithms can approximate the optimal cost of robust optimal transport in $\widetilde{\mathcal{O}}(\frac{n^2}{\varepsilon})$ time, in which $n$ is the number of supports of the probability distributions and $\varepsilon$ is the desired error. Furthermore, we investigate a fixed-support robust barycenter problem between $m$ discrete probability distributions with at most $n$ number of supports and develop an approximating algorithm based on iterative Bregman projections (IBP). For the specific case $m = 2$, we show that this algorithm can approximate the optimal barycenter value in $\widetilde{\mathcal{O}}(\frac{mn^2}{\varepsilon})$ time, thus being better than the previous complexity $\widetilde{\mathcal{O}}(\frac{mn^2}{\varepsilon^2})$ of the IBP algorithm for approximating the Wasserstein barycenter.

研究动机与目标

• 解决标准最优传输在数据异常值存在下的计算低效与缺乏鲁棒性问题。
• 通过KL散度松弛边缘约束，形式化鲁棒最优传输，提升对噪声或污染数据的稳定性。
• 开发一种可扩展的算法，用于计算鲁棒中位数，其计算复杂度优于现有方法。
• 在数据污染条件下，展示鲁棒最优传输在生成建模与域自适应中的实际优势。
• 为鲁棒OT与鲁棒中位数计算建立理论复杂度边界，证明其优于以往基于Sinkhorn与IBP的方法。

提出的方法

• 提出两种鲁棒最优传输变体：一种为部分边缘约束松弛，另一种为通过KL散度实现完全松弛，从而提升对异常值的鲁棒性。
• 将Sinkhorn算法适配于求解鲁棒OT公式，实现Õ(n²/ε)的时间复杂度，快于标准OT，且与UOT复杂度相当。
• 提出RobustIBP算法用于计算固定支撑的鲁棒中位数，受迭代Bregman投影启发，但针对鲁棒公式进行了适配。
• 利用低秩近似（Nyström方法）加速矩阵-向量运算，将复杂度降低至Õ(nr² + nr/ε)，其中r为近似秩。
• 采用熵正则化与迭代投影技术，确保中位数计算中的收敛性与数值稳定性。
• 在生成建模中，使用k次Sinkhorn更新近似鲁棒散度（如RSD），实现端到端训练，并具备对数据污染的鲁棒性。

实验结果

研究问题

• RQ1 与标准最优传输相比，基于KL散度松弛的鲁棒最优传输是否可实现更高效的计算？
• RQ2 基于Sinkhorn的鲁棒最优传输算法的计算复杂度是多少？能否通过低秩近似进一步优化？
• RQ3 能否将迭代Bregman投影（IBP）框架适配为计算鲁棒中位数，并实现优于经典IBP的复杂度？
• RQ4 在数据污染条件下，鲁棒最优传输如何提升生成建模的性能？
• RQ5 所提出的RobustIBP算法是否在m=2时实现了鲁棒中位数问题的近似最优复杂度？

主要发现

• 基于Sinkhorn的鲁棒最优传输算法实现Õ(n²/ε)的时间复杂度，快于标准OT的Õ(n²/ε²)，且与UOT复杂度相当。
• 通过Nyström方法进行低秩近似，计算复杂度进一步降低至Õ(nr² + nr/ε)，其中r为近似秩。
• 对于m=2的鲁棒中位数问题，RobustIBP算法实现Õ(mn²/ε)的复杂度，优于经典IBP的Õ(mn²/ε²)。
• 实验结果表明，使用鲁棒最优传输（如RSD）训练的生成模型能有效忽略10%的污染数据（如均匀噪声），而基于标准OT的模型则生成噪声样本。
• 在受污染的MNIST数据上，鲁棒方法生成清晰的数字图像，而基于标准Sinkhorn的训练则产生混合噪声与数字图案。
• 所提出的RobustIBP是首个在m=2这一最小情况下实现近似最优复杂度Õ(mn²/ε)的实用算法，用于鲁棒中位数计算。