[论文解读] Multilevel Optimal Transport: a Fast Approximation of Wasserstein-1 distances

Jialin Liu, Wotao Yin+2 more|arXiv (Cornell University)|Sep 29, 2018

Geometric Analysis and Curvature Flows参考文献 49被引用 14

一句话总结

该论文提出了一种多级最优传输算法，通过利用级联多重网格原理，加速了Wasserstein-1距离的计算，采用从粗到细的网格初始化来加快原始-对偶求解器的收敛。在512×512图像上，该方法在单个CPU上实现了0.2–1.5秒的求解时间，相比现有最先进方法实现了2–12倍的加速。

ABSTRACT

We propose a fast algorithm for the calculation of the Wasserstein-1 distance, which is a particular type of optimal transport distance with homogeneous of degree one transport cost. Our algorithm is built on multilevel primal-dual algorithms. Several numerical examples and a complexity analysis are provided to demonstrate its computational speed. On some commonly used image examples of size $512 imes512$, the proposed algorithm gives solutions within $0.2\sim 1.5$ seconds on a single CPU, which is much faster than the state-of-the-art algorithms.

研究动机与目标

• 解决大规模问题中计算Wasserstein-1距离的计算瓶颈，特别是在图像处理和机器学习中的应用。
• 通过利用层次化网格结构，克服现有原始-对偶和线性规划求解器在细网格上收敛缓慢的问题。
• 开发一种受多重网格启发的框架，通过重用粗网格上的解来加速细网格上的优化。
• 在不牺牲精度的前提下实现显著的加速，尤其适用于高分辨率图像。
• 实现高效、可扩展的Wasserstein-1距离计算，适用于实时或大规模应用。

提出的方法

• 应用级联多级框架求解Wasserstein-1距离问题，从最粗的网格开始，逐步细化至最细的网格。
• 将粗网格上的解用作细网格上原始变量和对偶变量的初始化，从而减少所需迭代次数。
• 采用基于PDHG（原始-对偶混合梯度）方法的原始-对偶算法，并针对多级细化进行适配。
• 通过基于几何邻近度的加权平均方案，在不同网格层级之间插值对偶变量（Kantorovich势能）和通量。
• 通过证明插值后的对偶变量在L²范数下有界，确保算法的稳定性和收敛性。
• 在对偶势能重构步骤中利用基于FFT的求解器计算逆拉普拉斯算子，实现高效计算。

实验结果

研究问题

• RQ1 受多重网格启发的级联初始化是否能显著减少原始-对偶求解器在Wasserstein-1距离计算中所需的迭代次数？
• RQ2 在标准图像基准测试中，该多级方法与[34]和[33]中的最先进求解器相比，在速度和精度方面表现如何？
• RQ3 该算法中使用的多级插值方案在稳定性和收敛性方面的理论依据是什么？
• RQ4 该方法的加速效果在多大程度上随问题规模增加而提升，特别是在512×512等大网格上？
• RQ5 在图像处理等实际应用中，该方法能否在大幅降低计算时间的同时保持高精度？

主要发现

• 所提出的多级最优传输算法在使用单个CPU的512×512图像网格上，实现了0.2至1.5秒的求解时间。
• 与[34]和[33]中的最先进算法相比，该方法实现了2至12倍的加速，且在更大规模问题上收益更显著。
• 多重网格初始化显著减少了细网格上所需的迭代次数，从而大幅降低了计算成本。
• 理论分析证实，对偶变量在不同网格层级间的插值过程保持了L²范数的有界性。
• 在DOTmark数据集和猫图像示例上的数值验证结果表明，该方法在精度和视觉一致性方面与已知最优传输流保持一致。
• 该算法在保持高精度的同时实现了近实时性能，适用于大规模机器学习和图像处理应用。