[论文解读] Nonconvex stochastic optimization on manifolds via Riemannian Frank-Wolfe methods.

Melanie Weber, Suvrit Sra|arXiv (Cornell University)|Oct 9, 2019

3D Shape Modeling and Analysis参考文献 16被引用 6

一句话总结

本文提出了一种用于流形上非凸与测地线凸优化的随机黎曼Frank-Wolfe方法，通过投影-free更新和黎曼化Spider技术实现方差减少。其收敛速率与最优的欧几里得对应方法相当，并在Karcher均值和Wasserstein重心计算任务中展现出最先进（state-of-the-art）的实验性能。

ABSTRACT

We study stochastic projection-free methods for constrained optimization of smooth functions on Riemannian manifolds (where there are additional constraints beyond the parameter domain being a manifold). Specifically, we introduce stochastic Riemannian Frank-Wolfe methods for both nonconvex and geodesically convex problems. We present algorithms for both stochastic optimization and finite-sum problems. For the latter, we develop variance reduced methods, including a Riemannian adaptation of the recently proposed Spider technique. For all settings, we recover convergence rates that are comparable to the best-known rates for their Euclidean counterparts. Finally, we discuss applications to two basic tasks: computation of the Karcher mean and Wasserstein barycenters for multivariate normal distributions. For both tasks, stochastic Fw methods yield state-of-the-art empirical performance.

研究动机与目标

• 开发适用于黎曼流形上约束平滑优化的随机、无投影优化方法，目标函数为非凸与测地线凸。
• 将方差减少技术——特别是Spider方法——扩展至黎曼设置，以解决有限和问题。
• 在流形上的随机与有限和优化中，实现与欧几里得设置下最优已知速率相当的收敛速率。
• 在计算Karcher均值和Wasserstein重心等基础任务中，展示方法的实验优越性。

提出的方法

• 提出随机黎曼Frank-Wolfe算法，通过在切空间中求解线性子问题避免投影步骤。
• 将Spider方差减少技术适配至黎曼优化，实现流形上高效求解有限和问题。
• 利用黎曼回归（retraction）与向量传输，在切空间中执行更新的同时保持迭代点位于流形上。
• 在测地线凸性假设下，为测地线凸情形建立收敛性保证。
• 引入黎曼化Frank-Wolfe间隙，用于监测非凸设置下的优化进展。
• 将该框架应用于两个关键几何任务：Karcher均值计算与Wasserstein重心估计。

实验结果

研究问题

• RQ1 能否将随机Frank-Wolfe方法有效扩展至具有约束参数空间的黎曼流形上的非凸优化？
• RQ2 如何将类似Spider的方差减少技术适配至黎曼设置，以提升有限和问题中的收敛性能？
• RQ3 黎曼Frank-Wolfe方法在非凸与测地线凸设置下，是否能实现与欧几里得对应方法相当的收敛速率？
• RQ4 这些方法在计算Karcher均值与Wasserstein重心等基础几何任务中的实验性能如何？

主要发现

• 所提出的随机黎曼Frank-Wolfe方法在非凸与测地线凸问题中，均实现了与欧几里得设置下最优已知速率相当的收敛速率。
• 对Spider技术的黎曼化实现，使流形上的有限和优化中实现了高效的方差减少，提升了样本效率。
• 实验结果表明，该随机Frank-Wolfe方法在计算流形上概率分布的Karcher均值时，优于现有方法。
• 在多元正态分布的Wasserstein重心计算中，该方法实现了最先进性能，展现出鲁棒性与可扩展性。