[论文解读] Near-linear time approximation algorithms for optimal transport via Sinkhorn iteration

Jason M. Altschuler, Jonathan Weed+1 more|arXiv (Cornell University)|May 26, 2017

Advanced Bandit Algorithms Research参考文献 35被引用 211

一句话总结

本文证明了通过 Sinkhorn 迭代近线性时间的算法来逼近最优传输距离，并引入贪心变体 Greenkhorn，具有相同的保证和实际优势。

ABSTRACT

Computing optimal transport distances such as the earth mover's distance is a fundamental problem in machine learning, statistics, and computer vision. Despite the recent introduction of several algorithms with good empirical performance, it is unknown whether general optimal transport distances can be approximated in near-linear time. This paper demonstrates that this ambitious goal is in fact achieved by Cuturi's Sinkhorn Distances. This result relies on a new analysis of Sinkhorn iteration, which also directly suggests a new greedy coordinate descent algorithm, Greenkhorn, with the same theoretical guarantees. Numerical simulations illustrate that Greenkhorn significantly outperforms the classical Sinkhorn algorithm in practice.

研究动机与目标

• 推动在离散度量上快速计算最优传输距离。
• 通过熵正则化为 OT 提供近线性时间的近似保证。
• 引入具有理论保证的实用、易于实现的算法。
• 提供一个简单的舍入过程，从近似结果得到可行的 OT 解。

提出的方法

• 将 OT 表述为以边际 r 和 c 为约束的线性规划。
• 使用熵正则化来定义 Sinkhorn 投影 P_eta 及其显式形式 P_eta = X A Y，其中 A = exp(-eta C)。
• 开发一个近似的 Sinkhorn 投影 Proj(A, U_{r,c}, epsilon')，使得到的 B 在边际距离上接近传输多面体。
• 提供一个舍入例程 round(F, U_{r,c})，以在 U_{r,c} 中产生一个具有可控误差的可行 P。
• 分析两种投影方法：Sinkhorn（迭代行/列缩放）和 Greenkhorn（贪婪坐标更新），并给出近线性时间保证。
• 证明总体运行时间：O(n^2) 加 S，其中 S = O(n^2 L^3 (log n) epsilon^{-3}) 当 ||C||_infty <= L 时。

实验结果

研究问题

• RQ1 在输入规模 n^2 下，离散度量之间的 OT 距离是否可以近线性时间近似？
• RQ2 熵正则化是否能为一般非负代价矩阵 C 提供严格的近线性时间近似保证？
• RQ3 一种实用、易于实现的 Sinkhorn 变体（Greenkhorn）能否在经验性能更好时达到相同的保证？
• RQ4 如何通过舍入步骤将近似的 Sinkhorn 投影转换为具有可证明误差界的可行传输计划？

主要发现

• 作者表明，具备熵正则化的 Sinkhorn 距离可以实现离散度量之间 OT 距离的近线性时间近似。
• 他们给出精确的运行时间界：O(n^2 + S)，其中 S = O(n^2 L^3 log n epsilon^{-3}) 当 ||C||_infty <= L 时。
• 一种贪婪坐标下降变体 Greenkhorn，在理论上与 Sinkhorn 拥有相同的保证，但在实际性能上更优。
• 一个简单的舍入程序在 U_{r,c} 中产生一个可行的传输计划，其在 OT 目标上具有加性误差 epsilon。
• 论文提供了对 Sinkhorn 方法的参数调整指南，并在图像数据(MNIST)和合成实验中证明 Greenkhorn 相对标准 Sinkhorn 的经验优越性。
• 经验结果表明 Greenkhorn 在短跑和长跑中均显著优于 Sinkhorn。