[论文解读] Randomised Wasserstein Barycenter Computation: Resampling with Statistical Guarantees

Florian Heinemann, Axel Munk+1 more|arXiv (Cornell University)|Dec 11, 2020

Topological and Geometric Data Analysis参考文献 63被引用 4

一句话总结

本文提出一种随机重采样方法，用于在大规模数据集上计算Wasserstein中位数，具有非渐近误差界，可在计算成本与统计精度之间实现平衡。该方法结合任意精确求解器与重采样策略，实现与维度无关的最优误差率，在模拟数据和真实显微镜图像数据上得到验证，其性能超越了当前最先进水平的极限。

ABSTRACT

We propose a hybrid resampling method to approximate finitely supported Wasserstein barycenters on large-scale datasets, which can be combined with any exact solver. Nonasymptotic bounds on the expected error of the objective value as well as the barycenters themselves allow to calibrate computational cost and statistical accuracy. The rate of these upper bounds is shown to be optimal and independent of the underlying dimension, which appears only in the constants. Using a simple modification of the subgradient descent algorithm of Cuturi and Doucet, we showcase the applicability of our method on a myriad of simulated datasets, as well as a real-data example from cell microscopy which are out of reach for state of the art algorithms for computing Wasserstein barycenters.

研究动机与目标

• 为解决大规模数据集上Wasserstein中位数计算的计算不可行性，提出一种具有统计保证的重采样框架。
• 在目标函数值与中位数本身上提供非渐近误差界，从而实现对计算工作量与统计精度的校准。
• 在高维复杂数据（如细胞显微镜图像）上展示其适用性，而现有算法在此类数据上失效。
• 表明误差率是最优的且与环境维度无关，仅维度影响常数部分。

提出的方法

• 该方法引入一种混合重采样方案，通过子采样数据测度来近似有限支撑的Wasserstein中位数，同时保持统计精度。
• 将任意精确中位数求解器与随机重采样策略相结合，以降低计算成本，同时保持理论误差界。
• 推导出目标函数值与中位数期望误差的非渐近上界，表明其收敛速率与维度无关，达到最优。
• 该方法利用改进的次梯度下降算法（来自Cuturi和Doucet），在大规模数据集上高效计算中位数。
• 理论分析表明，误差界依赖于一个常数 $ C_P $，该常数由成本差与最优传输计划集合距离的最小比值导出，确保其正值与收敛性。
• 该方法将传输计划之间的 $ L^1 $-距离与总变差及Wasserstein距离关联，从而通过 $ W_p^p(\mu, \mu^*) $ 实现误差量化。

实验结果

研究问题

• RQ1 能否设计一种随机重采样方法，以理论误差保证近似大规模数据集上的Wasserstein中位数？
• RQ2 目标函数值与中位数的期望误差的最优收敛速率为何？其是否依赖于环境维度？
• RQ3 该方法能否与现有精确求解器结合，以在降低计算成本的同时保持精度？
• RQ4 与最先进算法相比，该方法在真实世界高维数据（如细胞显微镜图像）上的表现如何？
• RQ5 所推导的误差界是否紧致？在最小假设下是否达到最优速率？

主要发现

• 所提方法在期望目标函数值与中位数上的误差界为非渐近且最优，且与底层维度无关，仅维度影响常数部分。
• 误差率被证明为最优，其界依赖于一个由成本差与最优集合距离最小比值导出的正数常数 $ C_P $。
• 该方法使得在当前最先进算法无法处理的计算规模数据集上计算Wasserstein中位数成为可能，包括真实显微镜数据。
• 改进的次梯度下降算法成功应用于大规模模拟与真实数据集，展示了实际可扩展性。
• 理论分析证实，传输计划之间的 $ L^1 $-距离下界为Wasserstein距离，从而可通过总变差实现紧密的误差控制。
• 常数 $ C_P $ 的正确定义得到严格证明，确保误差界非平凡且对收敛性分析具有实际意义。