[论文解读] Sinkhorn Barycenters with Free Support via Frank-Wolfe Algorithm
该论文提出了一种基于Frank-Wolfe的新型算法，用于计算具有自由支撑的Sinkhorn中位数，通过增量方式构建中位数的支撑集，无需预先分配。通过证明Sinkhorn散度梯度关于总变差的Lipschitz连续性，并刻画Sinkhorn势函数的样本复杂度，该工作建立了离散和连续分布的收敛速率，从而为任意概率测度提供了稳健的优化方法。
We present a novel algorithm to estimate the barycenter of arbitrary probability distributions with respect to the Sinkhorn divergence. Based on a Frank-Wolfe optimization strategy, our approach proceeds by populating the support of the barycenter incrementally, without requiring any pre-allocation. We consider discrete as well as continuous distributions, proving convergence rates of the proposed algorithm in both settings. Key elements of our analysis are a new result showing that the Sinkhorn divergence on compact domains has Lipschitz continuous gradient with respect to the Total Variation and a characterization of the sample complexity of Sinkhorn potentials. Experiments validate the effectiveness of our method in practice.
研究动机与目标
- 为在不预先固定支撑集的情况下，计算概率测度在Sinkhorn散度下的中位数提供解决方案。
- 克服在高维设置下固定支撑集和交替最小化方法的局限性。
- 提供一种理论基础坚实、内存效率高的中位数计算方法，能够自适应输入分布的内在结构。
- 建立有限和连续设置下Sinkhorn势函数的收敛速率和样本复杂度边界。
提出的方法
- 该算法采用Frank-Wolfe框架，迭代添加新的支撑点并更新权重，避免了预分配或交替优化。
- 通过在每次迭代中求解一个线性子问题，利用条件梯度策略保持稀疏性并确保收敛。
- 该方法直接在概率测度空间上运行，线性子问题通过在定义域上进行最大化来选择下一个支撑点。
- 一个关键创新是将Frank-Wolfe算法推广至定义在内部为空集上的集合上的目标函数，这适用于Sinkhorn中位数问题。
- 理论分析依赖于证明Sinkhorn散度的梯度在紧致域上关于总变差范数是Lipschitz连续的。
- 通过刻画Sinkhorn势函数的样本复杂度，实现在连续设置下具有理论保证的近似计算。
实验结果
研究问题
- RQ1是否可以在不预先定义支撑集或使用交替最小化的情况下实现自由支撑中位数的计算？
- RQ2所提出的基于Frank-Wolfe的算法在离散和连续概率测度下的收敛速率是什么？
- RQ3Sinkhorn势函数的正则性如何影响连续设置下的样本复杂度和优化稳定性？
- RQ4关于Sinkhorn散度梯度的Lipschitz连续性，可以提供哪些理论保证？
- RQ5Frank-Wolfe方法能否被适配于定义在内部为空集上的集合上的优化问题，如中位数问题？
主要发现
- 证明了Sinkhorn散度的梯度在紧致域上关于总变差范数是Lipschitz连续的，从而为Frank-Wolfe算法提供了收敛保证。
- 刻画了两个经验分布下Sinkhorn势函数的样本复杂度，为连续设置下的鲁棒近似提供了基础。
- 所提出的算法在有限和无限维分布下均实现了收敛速率，其显式边界由势函数的正则性导出。
- 将Frank-Wolfe方法推广至定义在内部为空集上的集合上的目标函数，这对中位数问题至关重要。
- 实验结果验证了该方法在离散测度（如3D网格）和连续高斯混合模型中的有效性，显示出稳定且精确的中位数估计。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。