[论文解读] Riemannian adaptive stochastic gradient algorithms on matrix manifolds

Hiroyuki Kasai, Pratik Jawanpuria+1 more|arXiv (Cornell University)|Feb 4, 2019

Stochastic Gradient Optimization Techniques参考文献 49被引用 23

一句话总结

本文提出了黎曼自适应随机梯度算法（RASA），通过使用协方差矩阵对黎曼随机梯度的行和列子空间权重进行建模，自适应地更新学习率。该方法在矩阵流形上的非凸随机优化中实现了 $\mathcal{O}(\log(T)/\sqrt{T})$ 的收敛速率，为该设置下的黎曼自适应方法提供了首个此类收敛保证。

ABSTRACT

Adaptive stochastic gradient algorithms in the Euclidean space have attracted much attention lately. Such explorations on Riemannian manifolds, on the other hand, are relatively new, limited, and challenging. This is because of the intrinsic non-linear structure of the underlying manifold and the absence of a canonical coordinate system. In machine learning applications, however, most manifolds of interest are represented as matrices with notions of row and column subspaces. In addition, the implicit manifold-related constraints may also lie on such subspaces. For example, the Grassmann manifold is the set of column subspaces. To this end, such a rich structure should not be lost by transforming matrices to just a stack of vectors while developing optimization algorithms on manifolds. We propose novel stochastic gradient algorithms for problems on Riemannian matrix manifolds by adapting the row and column subspaces of gradients. Our algorithms are provably convergent and they achieve the convergence rate of order $\mathcal{O}(\log (T)/\sqrt{T})$, where $T$ is the number of iterations. Our experiments illustrate the efficacy of the proposed algorithms on several applications.

研究动机与目标

• 解决黎曼自适应随机梯度方法在非凸设置下缺乏收敛性分析的问题。
• 开发保持流形内在矩阵结构的自适应优化算法，避免向量化处理。
• 利用矩阵流形上梯度的行和列子空间几何结构，提升优化效率。
• 为黎曼矩阵流形上的自适应学习提供系统化且计算高效的框架。
• 通过实证验证所提方法在主成分分析（PCA）、矩阵补全和独立成分分析（ICA）任务中优于现有黎曼自适应算法的性能。

提出的方法

• 分别对黎曼随机梯度 $\mathbf{G}$ 的行和列子空间建模自适应权重矩阵 $\mathbf{L}$ 和 $\mathbf{R}$。
• 利用 $\mathbf{G}$ 的行和列协方差矩阵计算 $\mathbf{L}$ 和 $\mathbf{R}$，确保其正定性。
• 为提升计算效率，对 $\mathbf{L}$ 和 $\mathbf{R}$ 引入对角结构，灵感来源于 AdaGrad。
• 通过正交投影算子 $\mathrm{P}_{\mathbf{U}}$ 将欧氏梯度投影到切空间，实现黎曼优化。
• 显式推导了在 Stiefel 和 Grassmann 流形上 ICA、PCA 和矩阵补全问题的黎曼梯度。
• 将自适应子空间加权整合到黎曼随机梯度更新中，同时保持流形约束。

实验结果

研究问题

• RQ1 能否在保持几何结构的前提下，将自适应随机梯度方法有效推广至黎曼矩阵流形？
• RQ2 在非凸设置下，黎曼自适应随机梯度算法的收敛速率是多少？
• RQ3 行和列子空间自适应策略与流形上的标准欧氏风格自适应方法相比有何差异？
• RQ4 所提方法能否在实际机器学习应用中超越现有黎曼自适应算法？
• RQ5 保持矩阵结构（如避免向量化）对优化性能有何影响？

主要发现

• 所提出的 RASA 算法在黎曼矩阵流形上的非凸随机优化中实现了 $\mathcal{O}(\log(T)/\sqrt{T})$ 的收敛速率。
• 该方法在温和条件下，首次为非凸设置下的黎曼自适应随机梯度算法提供了收敛性分析。
• 在合成数据集和真实世界数据集上的实验表明，RASA 在 PCA 和矩阵补全任务中优于基线黎曼自适应方法。
• 行和列子空间自适应的使用保留了梯度的矩阵结构，从而提升了优化效率。
• 对自适应权重矩阵 $\mathbf{L}$ 和 $\mathbf{R}$ 的对角近似确保了计算效率，同时维持了收敛性保证。
• 通过正交投影到切空间，显式推导了 ICA、PCA 和矩阵补全问题的黎曼梯度。