[论文解读] Wasserstein barycenters can be computed in polynomial time in fixed dimension

Jason M. Altschuler, Enric Boix-Adserà|arXiv (Cornell University)|Jun 14, 2020

Advanced Numerical Analysis Techniques被引用 10

一句话总结

本文提出了首个在任意固定维数下计算Wasserstein均值的多项式时间算法，通过基于幂图和计算几何的几何分离 oracle 克服了候选支撑点的指数复杂度。该方法实现了对精度的多对数依赖，首次实现了在固定维数下以机器精度进行精确计算。

ABSTRACT

Computing Wasserstein barycenters is a fundamental geometric problem with widespread applications in machine learning, statistics, and computer graphics. However, it is unknown whether Wasserstein barycenters can be computed in polynomial time, either exactly or to high precision (i.e., with $\ extrm{polylog}(1/\\varepsilon)$ runtime dependence). This paper answers these questions in the affirmative for any fixed dimension. Our approach is to solve an exponential-size linear programming formulation by efficiently implementing the corresponding separation oracle using techniques from computational geometry.

研究动机与目标

• 解决在固定维数下Wasserstein均值是否能以多项式时间精确或高精度计算的开放问题。
• 通过利用几何结构高效剪枝搜索空间，克服barycenter的$ n^k $个候选支撑点带来的指数复杂度。
• 开发一种自由支撑算法，避免需要$ (R/ε)^d $个点且导致伪多项式时间复杂度的固定支撑近似方法。
• 提供一个可证明高效的算法，其时间复杂度为$ \mathrm{poly}(n,k,\log(R/\varepsilon)) $，在不依赖启发式或基于近似的支撑点选择的情况下实现高精度解。

提出的方法

• 将Wasserstein均值问题表述为多边际最优传输（MOT）上的指数规模线性规划（LP）。
• 将问题简化为求解对偶LP的分离oracle，该oracle用于检查给定解是否违反任何约束。
• 通过幂图——一种基于输入点加权距离划分空间的几何结构——高效实现分离oracle。
• 利用计算几何技术计算幂图的单元并以多项式时间识别最优barycenter支撑点。
• 通过将平方欧几里得代价替换为$ \ell_1 $、$ \ell_2 $或$ \ell_\infty $基度量，将方法适配至$ 1 $-Wasserstein距离（地球移动者距离），并使用$ c $-图代替幂图。
• 确保所有几何操作（评估、中位数计算、单元枚举）在基度量的标准假设下均以多项式时间运行。

实验结果

研究问题

• RQ1 在固定维数下，Wasserstein均值是否能以多项式时间精确或高精度计算？
• RQ2 是否可以避免导致在$ 1/\varepsilon $上伪多项式时间复杂度的固定支撑近似方法？
• RQ3 能否利用几何结构高效剪枝指数级的候选支撑点数量（$ n^k $）？
• RQ4 barycenter LP公式中的分离oracle是否可通过计算几何实现多项式时间求解？
• RQ5 该方法是否可扩展至$ 1 $-Wasserstein几何中位数问题并保持相同的效率保证？

主要发现

• 本文提出首个算法，可在任意固定维数$ d $下以$ \mathrm{poly}(n,k,\log(R/\varepsilon)) $时间计算Wasserstein均值，实现对精度$ \varepsilon $的多对数依赖。
• 该算法以多项式时间计算精确的均值，解决了多边际最优传输和几何数据分析中的一个开放问题。
• 该方法避免了需要$ (R/\varepsilon)^d $个点的固定支撑近似，转而使用基于幂图的几何分离oracle。
• 该方法可扩展至$ 1 $-Wasserstein几何中位数问题，适用于$ \ell_1 $、$ \ell_2 $或$ \ell_\infty $基度量，且保持相同的运行时间保证。
• 解的支撑点大小至多为$ nk - k + 1 $，远小于初始的$ n^k $个候选点。
• 该算法可实现高达机器精度的高精度计算，而以往方法由于对$ 1/\varepsilon $的多项式依赖，仅能实现几位有效数字的精度。