[论文解读] Riemannian SVRG: Fast Stochastic Optimization on Riemannian Manifolds

Hongyi Zhang, Sashank J. Reddi+1 more|arXiv (Cornell University)|May 23, 2016

3D Shape Modeling and Analysis参考文献 36被引用 85

一句话总结

本文提出了黎曼SVRG，这是首个用于黎曼流形上有限和问题的方差缩减随机优化方法。它在测地强凸函数下实现了全局线性收敛，并首次为非凸黎曼优化提供了非渐近复杂度分析，收敛速率依赖于流形的曲率。

ABSTRACT

We study optimization of finite sums of geodesically smooth functions on Riemannian manifolds. Although variance reduction techniques for optimizing finite-sums have witnessed tremendous attention in the recent years, existing work is limited to vector space problems. We introduce Riemannian SVRG (RSVRG), a new variance reduced Riemannian optimization method. We analyze RSVRG for both geodesically convex and nonconvex (smooth) functions. Our analysis reveals that RSVRG inherits advantages of the usual SVRG method, but with factors depending on curvature of the manifold that influence its convergence. To our knowledge, RSVRG is the first provably fast stochastic Riemannian method. Moreover, our paper presents the first non-asymptotic complexity analysis (novel even for the batch setting) for nonconvex Riemannian optimization. Our results have several implications; for instance, they offer a Riemannian perspective on variance reduced PCA, which promises a short, transparent convergence analysis.

研究动机与目标

• 解决黎曼有限和问题中缺乏快速随机优化方法的问题，这类问题在机器学习和矩阵几何中十分常见。
• 克服标准黎曼随机梯度和全梯度方法的局限性，后者存在收敛缓慢或每次迭代成本过高的问题。
• 开发一种专为黎曼几何设计的方差缩减框架，从而在曲面流形上的大规模问题中实现更快的收敛速度。
• 首次为随机黎曼优化在凸和非凸设置下的全局非渐近收敛性提供分析。
• 通过在正定矩阵上的主特征向量计算和黎曼中心点估计等应用，展示该方法的有效性。

提出的方法

• 提出黎曼SVRG（Rsvrg），一种基于SVRG框架并适配黎曼流形的随机方差缩减方法。
• 利用黎曼指数映射和重投影（retraction）在流形上定义更新，避免了投影步骤。
• 提出一种新颖的理论分析，将流形曲率（尤其是截面曲率）纳入收敛速率边界的考量。
• 基于测地光滑性和测地凸性假设，在凸和非凸设置下推导收敛保证。
• 将该方法应用于特定问题，如方差缩减主成分分析（PCA）和黎曼中心点计算，结果表明其收敛性优于基线方法。
• 建立依赖于曲率参数的收敛速率，最优步长缩放为 $ O(1/( heta^3 n)) $，其中 $ heta $ 与流形曲率相关。

实验结果

研究问题

• RQ1 欧氏空间中的方差缩减技术能否成功推广到黎曼有限和优化问题？
• RQ2 对于测地非凸且非梯度主导的函数，随机黎曼优化的全局非渐近收敛速率是什么？
• RQ3 流形曲率如何影响随机黎曼优化算法的收敛行为？
• RQ4 黎曼SVRG能否在流形上对测地强凸问题实现线性收敛？与批量和随机梯度方法相比表现如何？
• RQ5 黎曼形式化为经典问题（如PCA或黎曼中心点计算）提供了哪些新见解？

主要发现

• 黎曼SVRG在测地强凸函数下实现了全局线性收敛，且收敛速率明确依赖于流形曲率。
• 该方法首次为非凸设置下的随机黎曼优化提供了非渐近复杂度分析，甚至在批量情况下也成立。
• 在方差缩减PCA中，黎曼形式化提供了简洁透明的收敛分析，解释了VR-PCA的快速收敛机制。
• 实验结果表明，Riemannian SVRG在迭代复杂度方面优于黎曼全梯度（RGD）和随机梯度（RSGD）方法，尤其在大规模问题中表现更优。
• 在黎曼中心点计算任务中，Rsvrg实现了线性收敛，并显著减少了Oracle调用次数，相比基线方法有明显优势。
• Rsvrg的IFO复杂度与 $ 1/ ext{eigengap} $ 呈线性关系，与VR-PCA性能一致，证实了两者之间存在紧密的几何联系。