[论文解读] Towards Riemannian Accelerated Gradient Methods

Hongyi Zhang, Suvrit Sra|arXiv (Cornell University)|Jun 7, 2018

Stochastic Gradient Optimization Techniques参考文献 29被引用 33

一句话总结

该论文提出了一种计算上可行的黎曼加速梯度方法（Ragd），可在黎曼流形上对测地线光滑且强凸的优化问题实现加速收敛，且收敛范围限定在极小值点附近。该方法依赖于一种新颖的估计序列和切空间距离比较定理，以控制非线性度量扭曲，确保收敛速率依赖于条件数和截面曲率。

ABSTRACT

We propose a Riemannian version of Nesterov's Accelerated Gradient algorithm (RAGD), and show that for geodesically smooth and strongly convex problems, within a neighborhood of the minimizer whose radius depends on the condition number as well as the sectional curvature of the manifold, RAGD converges to the minimizer with acceleration. Unlike the algorithm in (Liu et al., 2017) that requires the exact solution to a nonlinear equation which in turn may be intractable, our algorithm is constructive and computationally tractable. Our proof exploits a new estimate sequence and a novel bound on the nonlinear metric distortion, both ideas may be of independent interest.

研究动机与目标

• 开发一种计算上可行的黎曼版本Nesterov加速梯度方法，避免在每一步求解难以处理的非线性方程。
• 为黎曼流形上的测地线光滑且强凸问题建立具有加速特性的局部收敛性。
• 通过新的分析工具，克服黎曼优化中非线性度量扭曲的挑战。
• 识别在非欧几里得空间中实现加速的条件，尽管缺乏线性结构。
• 提供一种放松先前工作假设的收敛性分析，适用于具有可计算指数映射的矩阵流形。

提出的方法

• 提出一种基于非线性黎曼几何特化设计的改进估计序列的黎曼加速梯度算法（Ragd）。
• 引入切空间距离比较定理，以界定测地线距离与其在切空间中欧氏近似之间的度量扭曲。
• 采用固定步长策略，参数设定为 $ h = \frac{1}{L} $，$ \beta = \frac{1}{5}\sqrt{\frac{\mu}{L}} $，确保在极小值点邻域内收敛。
• 使用一种新颖的估计序列，考虑曲率引起的度量扭曲，从而放松了Nesterov原始构造中的假设。
• 依赖于黎曼梯度、指数映射及其逆的可计算性——这对许多矩阵流形是可行的。
• 通过归纳法与曲率相关边界，确保每一步迭代中比较不等式（8）成立，从而支持收敛性证明。

实验结果

研究问题

• RQ1 尽管缺乏线性结构，是否仍可在黎曼优化中实现类似Nesterov的加速？
• RQ2 是否可能构造一种计算上可行的黎曼加速梯度方法，避免在每一步求解难以处理的非线性方程？
• RQ3 曲率与条件数的何种条件可确保黎曼流形上的局部加速？
• RQ4 能否开发一种新颖的估计序列与度量扭曲边界，以处理一阶优化中的非欧几里得几何？
• RQ5 黎曼几何的非线性本质是否从根本上阻止全局加速，还是仅局部加速是可实现的？

主要发现

• 所提出的Ragd算法在测地线光滑且强凸问题上实现局部加速收敛，收敛速率为 $ \left(1 - \frac{9}{10}\sqrt{\frac{\mu}{L}}\right)^k $。
• 收敛性在极小值点邻域 $ \mathcal{B}_{x^*, D} $ 内得到保证，其半径为 $ D = \frac{1}{20\sqrt{K}}\left(\frac{\mu}{L}\right)^{\frac{3}{4}} $，依赖于条件数与截面曲率。
• 该分析引入了一种新型估计序列，可处理黎曼流形上的度量扭曲，放松了经典Nesterov方法中的假设。
• 切空间距离比较定理提供了充分条件以控制非线性度量扭曲，是本研究的关键技术贡献。
• 该方法避免了难以处理的非线性方程——与先前工作（Liu et al., 2017）不同——使其在矩阵流形上具有实际可实施性。
• 边长 $ d(y_k, v_{k+1}) $ 可能比 $ d(y_k, x^*) $ 增长更快，表明在非线性空间中，全局扭曲控制本质上具有困难性。