[论文解读] Tensor optimal transport, distance between sets of measures and tensor scaling

Shmuel Friedland|arXiv (Cornell University)|May 2, 2020

Markov Chains and Monte Carlo Methods参考文献 34被引用 4

一句话总结

本文提出张量最优传输（TOT）用于 $d > 2$ 个离散概率测度，通过熵正则化和一种新型Sinkhorn型算法，将矩阵情形推广至高阶结构。该算法在 $O(\omega^3 d^4 n^{d+1} \log n / \delta^3)$ 次操作内实现几何收敛至 $\delta$-近似解，将经典最优传输推广至高阶张量结构，并提供可证明的复杂度与收敛性保证。

ABSTRACT

We study the optimal transport problem for $d>2$ discrete measures. This is a linear programming problem on $d$-tensors. It gives a way to compute a "distance" between two sets of discrete measures. We introduce an entropic regularization term, which gives rise to a scaling of tensors. We give a variation of the celebrated Sinkhorn scaling algorithm. We show that this algorithm can be viewed as a partial minimization algorithm of a strictly convex function. Under appropriate conditions the rate of convergence is geometric and we estimate the rate. Our results are generalizations of known results for the classical case of two discrete measures.

研究动机与目标

• 将最优传输从两组推广至 $d > 2$ 个离散概率测度，使用 $d$-阶张量。
• 通过非负张量上的线性规划形式化，定义两组 $d$ 个离散概率测度之间的距离。
• 基于熵正则化与张量缩放，开发一种计算高效的近似方法。
• 在严格凸性与部分最小化框架下，建立所提算法的几何收敛速率。
• 将已知的矩阵最优传输结果（如Sinkhorn算法）严格推广至张量设置，提供精确的复杂度与近似误差边界。

提出的方法

• 将张量最优传输（TOT）问题表述为在非负 $d$-阶张量上满足各阶边际约束的线性规划问题。
• 对TOT问题引入熵正则化，将其转化为适合迭代缩放的严格凸优化问题。
• 提出一种适用于张量的Sinkhorn算法变体，通过在边际约束上交替最小化实现。
• 利用严格凸函数的部分最小化分析收敛性，将算法与非负张量的迭代缩放联系起来。
• 通过 $\u0001$-模展开与边际化操作，执行张量收缩与缩放，确保所有 $d$ 个模的一致性。
• 通过分析正则化目标函数的Hessian矩阵与梯度行为，推导收敛速率，在适当条件下证明几何收敛。

实验结果

研究问题

• RQ1 如何利用高阶张量将最优传输从两组推广至 $d > 2$ 个离散概率测度？
• RQ2 以给定精度 $\delta$ 近似张量最优传输问题的计算复杂度是多少？
• RQ3 能否将Sinkhorn算法扩展至 $d$-阶张量，并提供可证明的收敛性与速率保证？
• RQ4 熵正则化如何影响张量缩放过程的结构与收敛性？
• RQ5 严格凸函数的部分最小化与张量设置下迭代缩放算法之间存在何种关系？

主要发现

• 所提算法在 $O(\omega^3 d^4 n^{d+1} \log n / \delta^3)$ 次操作内计算出张量最优传输问题的 $\delta$-近似解，其中 $\omega$ 为代价张量元素的取值范围。
• 该算法几何收敛至正则化目标函数的唯一最小值点，收敛速率受势函数强凸性约束。
• 张量缩放过程等价于对严格凸函数应用部分最小化算法，确保全局收敛。
• 算法的迭代过程对应于对由边际约束定义的仿射子空间的连续投影，收敛至 $\mathrm{U}(P)$ 中的张量，即可行运输计划的集合。
• 最终输出 $\mathcal{A}_\star$ 是一个满足所有边际约束 $\mathcal{A}_\star \times_k \mathcal{J}_{d-1} = \mathbf{p}_k$（对所有 $k \in [d]$）的概率张量，确认其可行性。
• 算法的收敛性被证明为几何收敛，其速率取决于正则化目标函数Hessian矩阵的条件数。