[论文解读] Riemannian stochastic variance reduced gradient

Hiroyuki Sato, Hiroyuki Kasai+1 more|arXiv (Cornell University)|Feb 18, 2017

Topological and Geometric Data Analysis被引用 19

一句话总结

该论文提出R-SVRG，一种黎曼随机方差缩减梯度算法，通过利用重投影（retraction）和向量传输（vector transport）将SVRG扩展至流形结构优化，以处理非欧几里得空间中的梯度操作。在递减步长下实现全局收敛，在固定步长下实现局部超线性收敛，相较于在对称正定（SPD）流形和格拉斯曼（Grassmann）流形上的黎曼随机梯度下降（RSGD），在中心点计算、主成分分析（PCA）和低秩矩阵补全任务中表现更优。

ABSTRACT

In recent years, stochastic variance reduction algorithms have attracted considerable attention for minimizing the average of a large but finite number of loss functions. This paper proposes a novel Riemannian extension of the Euclidean stochastic variance reduced gradient (R-SVRG) algorithm to a manifold search space. The key challenges of averaging, adding, and subtracting multiple gradients are addressed with retraction and vector transport. For the proposed algorithm, we present a global convergence analysis with a decaying step size as well as a local convergence rate analysis with a fixed step size under some natural assumptions. In addition, the proposed algorithm is applied to the computation problem of the Riemannian centroid on the symmetric positive definite (SPD) manifold as well as the principal component analysis and low-rank matrix completion problems on the Grassmann manifold. The results show that the proposed algorithm outperforms the standard Riemannian stochastic gradient descent algorithm in each case.

研究动机与目标

• 解决在黎曼流形上应用方差缩减技术的挑战，因为在这些流形中标准的欧几里得操作（如平均和向量加法）不适用。
• 开发一种随机优化算法，保留欧几里得空间中SVRG的收敛优势，同时适应流形的几何结构。
• 在流形和目标函数的自然假设下，为所提出的算法建立全局和局部收敛保证。
• 在对称正定（SPD）和格拉斯曼（Grassmann）流形的实际问题中，证明R-SVRG相较于标准黎曼随机梯度下降（RSGD）的优越性。

提出的方法

• 通过用黎曼对应操作替代欧几里得操作，将欧几里得SVRG框架扩展至黎曼流形：使用重投影实现近似指数映射，使用向量传输实现梯度的平行移动。
• 利用黎曼操作计算并更新梯度差值，以在不每次迭代都计算完整梯度的情况下维持方差缩减。
• 采用递减步长，在目标函数和流形几何的标准假设下，确保收敛至临界点。
• 在额外的正则性条件下（如流形上Hessian的Lipschitz连续性），固定步长可实现局部线性收敛。
• 该方法在两个流形上实现：对称正定（SPD）流形用于中心点计算，格拉斯曼流形用于主成分分析（PCA）和低秩矩阵补全。
• 算法使用针对SPD矩阵和格拉斯曼子空间几何特化的流形专属重投影和向量传输算子。

实验结果

研究问题

• RQ1 能否将欧几里得优化中的方差缩减技术有效扩展至标准向量运算未定义的黎曼流形？
• RQ2 如何利用重投影和向量传输替代流形上SVRG中的梯度平均与差值运算？
• RQ3 在自然几何假设下，所提出的黎曼SVRG算法的全局与局部收敛保证为何？
• RQ4 R-SVRG在实际流形学习任务中是否优于标准黎曼随机梯度下降？

主要发现

• 在标准假设下，采用递减步长时，R-SVRG可实现全局收敛，确保收敛至流形上的临界点。
• 在固定步长下，算法在额外正则性条件下（如Hessian在流形上Lipschitz连续）表现出局部线性收敛，表明在最优解附近收敛更快。
• 在对称正定流形上，R-SVRG在计算黎曼中心点时显著优于黎曼随机梯度下降。
• 在格拉斯曼流形上进行主成分分析时，R-SVRG收敛速度更快且更稳定，优于RSGD。
• 在格拉斯曼流形上的低秩矩阵补全任务中，R-SVRG展现出比RSGD更优的收敛速度和精度。
• 重投影与向量传输的使用使得无需完整梯度评估即可实现有效的方差缩减，从而降低计算开销。