[论文解读] Sinkhorn Barycenter via Functional Gradient Descent

Zebang Shen, Zhenfu Wang+2 more|arXiv (Cornell University)|Jul 20, 2020

Topological and Geometric Data Analysis参考文献 22被引用 4

一句话总结

本文提出Sinkhorn下降（SD），一种功能性梯度下降方法，将Sinkhorn中位数问题重新表述为在再生核希尔伯特空间（RKHS）中对映射进行无约束优化。SD以速率$\mathcal{O}(1/t)$实现次线性收敛至驻点，保持经验测度的弱收敛性，并且计算复杂度随维度线性增长，从而能够求解此前难以处理的100维中位数问题。

ABSTRACT

In this paper, we consider the problem of computing the barycenter of a set of probability distributions under the Sinkhorn divergence. This problem has recently found applications across various domains, including graphics, learning, and vision, as it provides a meaningful mechanism to aggregate knowledge. Unlike previous approaches which directly operate in the space of probability measures, we recast the Sinkhorn barycenter problem as an instance of unconstrained functional optimization and develop a novel functional gradient descent method named Sinkhorn Descent (SD). We prove that SD converges to a stationary point at a sublinear rate, and under reasonable assumptions, we further show that it asymptotically finds a global minimizer of the Sinkhorn barycenter problem. Moreover, by providing a mean-field analysis, we show that SD preserves the weak convergence of empirical measures. Importantly, the computational complexity of SD scales linearly in the dimension $d$ and we demonstrate its scalability by solving a $100$-dimensional Sinkhorn barycenter problem.

研究动机与目标

• 为解决先前方法因支持集指数增长而导致的高维Sinkhorn中位数问题计算不可行性。
• 通过实现自由支持优化，消除中位数计算中固定支持假设带来的偏差。
• 开发一种可证明收敛、可扩展的方法，用于高维空间中Sinkhorn中位数的计算。
• 确保在有限样本初始化下，算法迭代过程中经验测度的弱收敛性，以增强对数据采样扰动的鲁棒性。

提出的方法

• 将Sinkhorn中位数问题重新表述为在再生核希尔伯特空间（RKHS）中对前向映射进行无约束的功能优化。
• 定义核化Sinkhorn中位数差异（KSBD）以衡量迭代过程的非渐近收敛性。
• 使用功能梯度下降法，迭代更新最小化Sinkhorn散度的映射，步长选择以确保下降。
• 采用核方法表示并优化传输映射，实现平滑、可微分的更新，无需显式支持约束。
• 证明该算法在迭代过程中保持经验测度的弱收敛性，确保与连续初始化的一致性。
• 利用平均场分析，在较弱假设下建立收敛性保证，包括全局收敛至最优解。

实验结果

研究问题

• RQ1 能否将Sinkhorn中位数问题重新表述为对映射空间的无约束功能优化问题，从而避免支持约束？
• RQ2 在映射空间上的功能梯度下降是否能以速率$\mathcal{O}(1/t)$实现收敛至驻点的次线性收敛？
• RQ3 该算法能否在有限样本初始化下保持经验测度的弱收敛性？
• RQ4 在何种条件下，功能梯度下降方法能全局收敛至真实的Sinkhorn中位数？
• RQ5 该方法的计算复杂度是否与维度$d$呈线性关系，从而实现高维问题的可扩展性？

主要发现

• Sinkhorn下降（SD）以次线性速率$\mathcal{O}(1/t)$收敛至驻点，其中$t$为迭代次数。
• 在较弱假设下，SD渐近地找到Sinkhorn中位数问题的全局最小值。
• 该算法保持经验测度的弱收敛性：$\lim_{N\to\infty} \texttt{SD}^t(\alpha_N) = \texttt{SD}^t(\alpha)$，确保与数据采样的一致性。
• SD的计算复杂度随维度$d$线性增长，从而能够求解100维中位数问题。
• 核化Sinkhorn中位数差异（KSBD）以速率$\mathcal{O}(1/t)$趋于零，可作为有效的非渐近收敛度量。
• SD在可扩展性方面优于先前方法，并避免了固定支持或交替优化方法固有的维度指数依赖。