[论文解读] Optimal Transport: Fast Probabilistic Approximation with Exact Solvers

Max Sommerfeld, Jörn Schrieber+2 more|arXiv (Cornell University)|Feb 14, 2018

Markov Chains and Monte Carlo Methods参考文献 37被引用 13

一句话总结

该论文提出了一种快速的随机子采样方案，用于在有限度量空间上使用精确求解器作为黑箱后端来近似最优传输距离。在许多情况下（如二维图像）实现了与问题规模无关的误差界，使得计算时间比精确方法快几个数量级，同时通过非渐近浓度不等式保持了高精度。

ABSTRACT

We propose a simple subsampling scheme for fast randomized approximate computation of optimal transport distances. This scheme operates on a random subset of the full data and can use any exact algorithm as a black-box back-end, including state-of-the-art solvers and entropically penalized versions. It is based on averaging the exact distances between empirical measures generated from independent samples from the original measures and can easily be tuned towards higher accuracy or shorter computation times. To this end, we give non-asymptotic deviation bounds for its accuracy in the case of discrete optimal transport problems. In particular, we show that in many important instances, including images (2D-histograms), the approximation error is independent of the size of the full problem. We present numerical experiments that demonstrate that a very good approximation in typical applications can be obtained in a computation time that is several orders of magnitude smaller than what is required for exact computation of the full problem.

研究动机与目标

• 解决在图像分析和机器学习等大规模应用中精确最优传输计算的高计算成本问题。
• 开发一种通用的、快速的近似方案，可与任何精确最优传输求解器作为黑箱组件配合使用。
• 提供非渐近偏差界，表明在重要情形（如二维直方图）下，近似误差不会随问题规模增长。
• 使在精确方法因运行时间限制而不可行的场景中，能够实际计算最优传输距离。

提出的方法

• 该方法对源测度和目标测度进行独立同分布的子采样，生成经验分布，其精确最优传输距离通过任意精确求解器计算。
• 最终的近似结果是基于独立样本多次计算所得距离的平均值。
• 它利用浓度不等式和Wasserstein距离的Lipschitz连续性，推导出非渐近误差界。
• 该方案可调优：增加样本数量可提高精度，但会延长运行时间。
• 理论分析表明，期望误差以 $ S^{-1/(2p)} $ 的速率衰减，其中 $ S $ 为每类测度的样本大小。
• 该方法在图像数据上进行了数值验证，展示了在误差极小的情况下计算速度比精确求解器快几个数量级。

实验结果

研究问题

• RQ1 随机子采样方案是否能在将计算时间减少几个数量级的同时，实现准确的最优传输近似？
• RQ2 在实际场景（如二维图像直方图）中，近似误差是否保持有界且与完整问题规模无关？
• RQ3 如何在子采样下为Wasserstein距离推导出非渐近浓度不等式，以确保可靠的误差控制？
• RQ4 现有精确最优传输求解器在可扩展的近似框架中作为黑箱组件，其复用程度如何？

主要发现

• 所提方案的近似误差以 $ \mathcal{O}(S^{-1/(2p)}) $ 的速率衰减，其中 $ S $ 为每类测度的样本数，且在许多情形（包括二维图像）下与完整问题规模无关。
• 对于二维直方图，误差界不随像素数量增长，使得即使在大图像上也能实现快速计算。
• 数值实验表明，该方法在计算时间比精确求解器快几个数量级的同时，仍保持高精度。
• 该方法通过基于运输成本不等式和Lipschitz连续性的浓度不等式，保持了强大的理论保证。
• 期望平方误差被限制在 $ 18\mathcal{E}_{q}^{2/p} S^{-1/p} $ 以内，其中 $ \mathcal{E}_{q} $ 是与基度量相关的问题相关常数。
• 该方案具有鲁棒性和通用性：可与任何精确最优传输求解器配合使用，并可通过调节样本大小在速度与精度之间实现灵活权衡。