[论文解读] Revisiting Fixed Support Wasserstein Barycenter: Computational Hardness and Efficient Algorithms.

Tianyi Lin, Nhat Ho+3 more|arXiv (Cornell University)|Feb 12, 2020

Geometric Analysis and Curvature Flows被引用 3

一句话总结

该论文通过证明当 $ m \geq 3 $ 且 $ n \geq 3 $ 时，固定支撑 Wasserstein 中心问题（FS-WBP）的约束矩阵并非完全无模，从而解决了其计算复杂度问题，表明该问题不等价于最小费用流问题。论文提出 FastIBP，一种确定性、可证明快速的迭代 Bregman 投影算法，其时间复杂度为 $ \tilde{O}(mn^{7/3}\varepsilon^{-4/3}) $，在 $ \varepsilon $ 和 $ n $ 方面均优于以往方法，并在合成数据与真实图像数据上验证了其性能表现。

ABSTRACT

We study the fixed-support Wasserstein barycenter problem (FS-WBP), which consists in computing the Wasserstein barycenter of $m$ discrete probability measures supported on a finite metric space of size $n$. We show first that the constraint matrix arising from the standard linear programming (LP) representation of the FS-WBP is extit{not totally unimodular} when $m \geq 3$ and $n \geq 3$. This result resolves an open question pertaining to the relationship between the FS-WBP and the minimum-cost flow (MCF) problem since it proves that the FS-WBP in the standard LP form is not an MCF problem when $m \geq 3$ and $n \geq 3$. We also develop a provably fast extit{deterministic} variant of the celebrated iterative Bregman projection (IBP) algorithm, named extsc{FastIBP}, with a complexity bound of $ ilde{O}(mn^{7/3}\varepsilon^{-4/3})$, where $\varepsilon \in (0, 1)$ is the desired tolerance. This complexity bound is better than the best known complexity bound of $ ilde{O}(mn^2\varepsilon^{-2})$ for the IBP algorithm in terms of $\varepsilon$, and that of $ ilde{O}(mn^{5/2}\varepsilon^{-1})$ from accelerated alternating minimization algorithm or accelerated primal-dual adaptive gradient algorithm in terms of $n$. Finally, we conduct extensive experiments with both synthetic data and real images and demonstrate the favorable performance of the extsc{FastIBP} algorithm in practice.

研究动机与目标

• 解决固定支撑 Wasserstein 中心问题（FS-WBP）是否等价于最小费用流（MCF）问题的开放性问题。
• 通过证明约束矩阵在 $ m \geq 3 $ 且 $ n \geq 3 $ 时并非完全无模，确立标准线性规划（LP）形式的 FS-WBP 并非 MCF 问题。
• 设计一种比标准 IBP 算法更快、更确定性的变体，用于 FS-WBP，以提升理论复杂度。
• 与加速交替最小化和原始-对偶自适应梯度算法等现有方法相比，实现对 $ \varepsilon $ 和 $ n $ 更优的依赖关系。
• 在合成数据与真实图像上实证验证所提出的 FastIBP 算法，证明其在实际效率与可扩展性方面的优势。

提出的方法

• 通过构造反例，证明当 $ m \geq 3 $ 且 $ n \geq 3 $ 时，FS-WBP 标准 LP 形式的约束矩阵并非完全无模。
• 提出 FastIBP，一种确定性迭代 Bregman 投影（IBP）算法的变体，旨在提升收敛速度与理论复杂度。
• 提出一种新颖的 FastIBP 复杂度分析，获得 $ \tilde{O}(mn^{7/3}\varepsilon^{-4/3}) $ 的上界，该结果在 $ \varepsilon $ 方面优于标准 IBP 的 $ \tilde{O}(mn^2\varepsilon^{-2}) $ 上界。
• 利用先进的优化技术加速收敛，包括自适应步长与保持可行性并减少每轮迭代误差的投影更新策略。
• 实现并调优 FastIBP 以确保实际效率，同时妥善处理数值稳定性与收敛性监控。
• 与现有最先进算法（包括加速交替最小化与原始-对偶自适应梯度方法）在运行时间与精度方面进行比较。

实验结果

研究问题

• RQ1 固定支撑 Wasserstein 中心问题（FS-WBP）在标准 LP 形式下是否等价于最小费用流（MCF）问题？
• RQ2 使用迭代 Bregman 投影求解 FS-WBP 的计算复杂度是多少？是否可通过算法改进实现优化？
• RQ3 所提出的 FastIBP 算法在 $ \varepsilon $ 与 $ n $ 的依赖关系上，相较于现有方法表现如何？
• RQ4 IBP 的确定性变体能否在理论与实证性能上优于随机或加速型替代方法？
• RQ5 FastIBP 在合成数据与真实世界图像数据集上是否能保持高精度与可扩展性？

主要发现

• 当 $ m \geq 3 $ 且 $ n \geq 3 $ 时，固定支撑 Wasserstein 中心问题的标准 LP 形式的约束矩阵并非完全无模，证明在此条件下 FS-WBP 并不等价于最小费用流问题。
• 所提出的 FastIBP 算法实现了 $ \tilde{O}(mn^{7/3}\varepsilon^{-4/3}) $ 的复杂度上界，该结果在 $ \varepsilon $ 方面优于标准 IBP 的 $ \tilde{O}(mn^2\varepsilon^{-2}) $ 上界。
• FastIBP 在 $ n $ 方面优于加速交替最小化与原始-对偶自适应梯度方法的 $ \tilde{O}(mn^{5/2}\varepsilon^{-1}) $ 复杂度，表明其在度量空间规模增大时具有更优的可扩展性。
• 在合成数据与真实图像上的大量实验表明，FastIBP 在运行时间与收敛速度方面优于现有方法，同时保持高精度。
• 理论与实证结果共同证实，FastIBP 是一种可证明高效且实用的大规模固定支撑 Wasserstein 中心计算算法。
• 该算法的确定性特性与改进的收敛保证，使其适用于计算统计学与机器学习中对可重复性与可靠性有高要求的应用场景。