[论文解读] Stochastic Variance Reduced Riemannian Eigensolver

Zhiqiang Xu, Yiping Ke|arXiv (Cornell University)|May 26, 2016

Stochastic Gradient Optimization Techniques参考文献 26被引用 4

一句话总结

本文提出了一种新型随机方差缩减黎曼特征分解求解器 SVRRG-EIGS，将 SVRG 技术推广至黎曼流形，用于非凸特征分解。通过支持固定学习率并实现指数级全局收敛，该方法克服了以往随机黎曼方法因需衰减学习率而导致的缓慢次线性收敛问题。

ABSTRACT

We study the stochastic Riemannian gradient algorithm for matrix eigen-decomposition. The state-of-the-art stochastic Riemannian algorithm requires the learning rate to decay to zero and thus suffers from slow convergence and sub-optimal solutions. In this paper, we address this issue by deploying the variance reduction (VR) technique of stochastic gradient descent (SGD). The technique was originally developed to solve convex problems in the Euclidean space. We generalize it to Riemannian manifolds and realize it to solve the non-convex eigen-decomposition problem. We are the first to propose and analyze the generalization of SVRG to Riemannian manifolds. Specifically, we propose the general variance reduction form, SVRRG, in the framework of the stochastic Riemannian gradient optimization. It's then specialized to the problem with eigensolvers and induces the SVRRG-EIGS algorithm. We provide a novel and elegant theoretical analysis on this algorithm. The theory shows that a fixed learning rate can be used in the Riemannian setting with an exponential global convergence rate guaranteed. The theoretical results make a significant improvement over existing studies, with the effectiveness empirically verified.

研究动机与目标

• 解决现有最先进的随机黎曼特征分解求解器因需衰减学习率而导致的收敛缓慢问题。
• 将欧氏空间中的方差缩减技术（SVRG）推广至黎曼流形，用于非凸优化问题。
• 提出一种新算法 SVRRG-EIGS，实现固定学习率下的指数收敛。
• 提供严格的理论分析，证明其在期望意义下的全局收敛性，并获得加速的收敛速率。
• 通过实验验证所提方法在收敛速度和解质量方面优于现有随机黎曼特征分解求解器。

提出的方法

• 在随机黎曼梯度优化框架内，提出一种通用的方差缩减框架 SVRRG。
• 将 SVRRG 专门应用于黎曼特征分解问题，得到 SVRRG-EIGS 算法。
• 在 Stiefel 流形上使用重投影（retraction）和黎曼梯度更新，以保持特征向量矩阵的正交性。
• 采用控制变量子策略，通过周期性地在数据子集上计算完整梯度来降低梯度方差。
• 引入两阶段周期结构：内层循环使用方差缩减梯度，外层循环使用完整梯度更新。
• 利用浓度不等式和递归误差传播推导理论界，建立指数收敛性。

实验结果

研究问题

• RQ1 能否将欧氏空间中 SGD 的方差缩减技术推广至黎曼优化中的非凸问题？
• RQ2 所提出的 SVRRG 框架是否能在黎曼设置下实现固定学习率下的指数收敛？
• RQ3 SVRRG-EIGS 与现有随机黎曼特征分解求解器相比，在收敛速度和解质量方面表现如何？
• RQ4 针对 SVRRG-EIGS 的全局收敛性和误差衰减，可建立哪些理论保证？
• RQ5 为实现高概率收敛，学习率、小批量大小和初始化需满足哪些必要条件？

主要发现

• SVRRG-EIGS 在固定学习率下实现了指数级全局收敛，而 DSRG-EIGS 因需衰减学习率，仅能达到次线性收敛。
• 在初始误差和超参数满足特定条件时，该算法能以高概率收敛至最优解。
• 收敛速度极快，所需周期数随目标精度 ε 的对数缩放。
• 在 T = ⌈log(1/ε)/log(1/φ)⌉ 个周期内，收敛速率可达 O(ε) 阶，其中 φ 控制失败概率。
• 实验结果证实，SVRRG-EIGS 的收敛速度显著快于 DSRG-EIGS，且在固定学习率下能获得更优的解质量。
• 理论分析表明，误差以 O(φ^T) 的速率衰减，其中 φ ∈ (0, 1) 控制失败概率，且该界依赖于问题特定的常数。