[论文解读] On the Computation of Kantorovich-Wasserstein Distances between 2D-Histograms by Uncapacitated Minimum Cost Flows

Federico Bassetti, Stefano Gualandi+1 more|arXiv (Cornell University)|Apr 2, 2018

Advanced Numerical Analysis Techniques参考文献 48被引用 10

一句话总结

该论文提出了一种高效计算二维直方图之间一阶Kantorovich-Wasserstein距离的方法，通过将问题重新表述为在简化网络上的无容量最小费用流问题。对于1-范数和∞-范数代价，该方法在O(n)时间内获得精确解；对于2-范数代价，其构建了一个大小为O(n)的网络，并提供了一个可证明的误差界ε，从而实现在大图像（如512×512）上快速且可扩展的计算，误差低于0.12%。

ABSTRACT

In this work, we present a method to compute the Kantorovich-Wasserstein distance of order one between a pair of two-dimensional histograms. Recent works in Computer Vision and Machine Learning have shown the benefits of measuring Wasserstein distances of order one between histograms with $n$ bins, by solving a classical transportation problem on very large complete bipartite graphs with $n$ nodes and $n^2$ edges. The main contribution of our work is to approximate the original transportation problem by an uncapacitated min cost flow problem on a reduced flow network of size $O(n)$ that exploits the geometric structure of the cost function. More precisely, when the distance among the bin centers is measured with the 1-norm or the $\infty$-norm, our approach provides an optimal solution. When the distance among bins is measured with the 2-norm: (i) we derive a quantitative estimate on the error between optimal and approximate solution; (ii) given the error, we construct a reduced flow network of size $O(n)$. We numerically show the benefits of our approach by computing Wasserstein distances of order one on a set of grey scale images used as benchmark in the literature. We show how our approach scales with the size of the images with 1-norm, 2-norm and $\infty$-norm ground distances, and we compare it with other two methods which are largely used in the literature.

研究动机与目标

• 加速计算二维直方图之间的Kantorovich-Wasserstein距离，该距离在计算机视觉和机器学习中至关重要，但计算成本高昂。
• 解决在具有O(n²)条边的完全二分图上求解大规模运输问题时的可扩展性问题，适用于n个bin的直方图。
• 通过利用代价函数的几何结构，将问题规模从O(n²)减少到O(n)，从而实现更快、更节省内存的计算。
• 为使用欧氏距离（2-范数）作为基度量时的近似解提供可证明的误差界。
• 展示该方法在运行时间和准确性方面优于现有方法（如Network Simplex和Sinkhorn算法）的优越性。

提出的方法

• 将二维直方图Wasserstein距离计算重新表述为具有结构化拓扑的有向图上的无容量最小费用流问题。
• 构建一个大小为O(n)的简化流网络，通过利用底层距离度量的几何特性，保持1-范数和∞-范数代价函数下的最优性。
• 对于2-范数情形，通过网格分辨率参数L推导出一种参数化近似方案，其中L控制近似精度和网络规模。
• 证明当代价函数为距离时，原始运输问题与简化后的最小费用流问题等价，从而确保1-范数和∞-范数下的正确性。
• 在2-范数情形下，建立近似解与精确解之间的定量误差估计，证明当L ≥ N−1时，误差被限制在ε以内，且网络规模为O(n)。
• 使用经典图像数据集实现并基准测试该方法，与Network Simplex和Sinkhorn算法比较运行时间和准确性。

实验结果

研究问题

• RQ1 是否可以通过减小底层网络流问题的规模，在保持最优性或提供有界误差的前提下，加速计算二维直方图之间的Kantorovich-Wasserstein距离？
• RQ2 是否可以构建一个大小为O(n)的简化流网络，使得当基距离为1-范数或∞-范数时，能够得到精确的Wasserstein距离？
• RQ3 当使用欧氏距离（2-范数）作为基距离时，使用简化网络的近似解与精确解之间的理论误差界是多少？
• RQ4 与现有方法（如Network Simplex和Sinkhorn算法）相比，该方法在大图像（如512×512）上的实际可扩展性如何？
• RQ5 该近似方案是否能在实际应用中同时实现高速度和高精度，且误差低于用户定义的阈值ε？

主要发现

• 对于1-范数和∞-范数基距离，所提方法使用大小为O(n)的流网络计算出精确的Wasserstein距离，与完整的O(n²)运输问题相比，计算复杂度显著降低。
• 对于2-范数基距离，该方法提供近似解，并具有可证明的误差界：当L = N−1时，在512×512图像上的误差小于0.12%。
• 该方法在使用L=10的2-范数近似时，计算512×512图像间Wasserstein距离的运行时间低于20分钟，展现出良好的实际可扩展性。
• 与[29]中基于Network Simplex的方法相比，该方法始终更快，尤其在图像尺寸更大时性能优势更加明显。
• 与Sinkhorn算法相比，该方法不仅更快（在相同最优性差距下快达两个数量级），而且保证了有界的误差，而Sinkhorn方法为启发式方法，无误差保证。
• 在运行时间方面，该实现优于所有精确和近似基线方法，且在无法并行化的情况下（如单线程的Network Simplex vs. 20线程的Sinkhorn）仍保持高精度。