[论文解读] R-SPIDER: A Fast Riemannian Stochastic Optimization Algorithm with Curvature Independent Rate

Jingzhao Zhang, Hongyi Zhang+1 more|arXiv (Cornell University)|Nov 10, 2018

Stochastic Gradient Optimization Techniques参考文献 34被引用 26

一句话总结

该论文提出R-SPIDER，一种黎曼随机优化算法，可在黎曼流形上的非凸和强凸问题中实现与曲率无关的收敛速率。通过将SPIDER方差缩减框架适配至黎曼几何，该方法消除了对有界迭代点的假设，并在有限和和随机设置下均实现了比先前方法更快的收敛速度，且不依赖于曲率，匹配了最优的欧几里得收敛速率。

ABSTRACT

We study smooth stochastic optimization problems on Riemannian manifolds. Via adapting the recently proposed SPIDER algorithm \citep{fang2018spider} (a variance reduced stochastic method) to Riemannian manifold, we can achieve faster rate than known algorithms in both the finite sum and stochastic settings. Unlike previous works, by \emph{not} resorting to bounding iterate distances, our analysis yields curvature independent convergence rates for both the nonconvex and strongly convex cases.

研究动机与目标

• 开发一种快速、方差缩减的黎曼随机优化算法，以克服先前方法对有界迭代点或曲率依赖性分析的限制。
• 在黎曼流形上，针对测地线光滑的非凸和强凸问题，在有限和和随机设置下实现最优收敛速率。
• 消除收敛保证对流形直径和截面曲率的依赖，从而扩展至非紧致流形的更广泛应用场景。
• 在黎曼设置下，匹配或优于已知的最佳迭代次数和Oracle复杂度界，尤其针对梯度主导和强凸问题。

提出的方法

• 通过使用黎曼回归和向量传输，将欧几里得SPIDER算法适配至黎曼流形，以保持几何一致性。
• 采用一种方差缩减机制，根据连续迭代点之间的距离自适应调整样本大小来计算随机梯度。
• 提出两种变体：R-SPIDER-GD1和R-SPIDER-GD2，分别针对梯度主导问题和强凸问题，采用动态步长和样本大小调度策略。
• 利用黎曼指数映射和对数映射通过回归和逆回归更新迭代点，确保更新保持在流形上。
• 采用一种新颖的收敛性分析方法，避免对迭代点距离进行有界性假设，从而消除速率中的曲率依赖项。
• 采用递归梯度估计策略，通过平行传输结合完整梯度和随机梯度，高效降低方差。

实验结果

研究问题

• RQ1 在黎曼流形上的方差缩减随机优化能否实现与流形曲率和直径无关的收敛速率？
• RQ2 将SPIDER算法适配至黎曼几何是否能在非凸设置下实现比黎曼随机梯度下降更快的收敛速度？
• RQ3 能否在黎曼流形上同时实现有限和和随机优化问题的与曲率无关的收敛速率？
• RQ4 所提出的算法在梯度主导和强凸问题上的Oracle复杂度和样本量需求方面如何比较？
• RQ5 能否设计一种实用的黎曼随机优化算法，兼具强理论保证和优于现有方法的实证性能？

主要发现

• 对于非凸有限和问题，R-SPIDER的IFO复杂度为$\mathcal{O}(n + \frac{n^{1/2}}{\epsilon^2})$，优于先前最优速率$\mathcal{O}(n + \frac{n^{2/3}\zeta^{1/2}}{\epsilon^2})$。
• 对于非凸随机问题，R-SPIDER实现了$\mathcal{O}(\frac{1}{\epsilon^3})$的收敛速率，优于先前最优速率$\mathcal{O}(\frac{1}{\epsilon^4})$。
• 在强凸有限和情形下，R-SPIDER-GD1实现$\mathcal{O}((n + \kappa n^{1/2})\log(\frac{1}{\epsilon}))$的Oracle复杂度，R-SPIDER-GD2实现$\mathcal{O}((n + \kappa^2)\log(\frac{1}{\epsilon}))$，两者均优于先前界。
• 收敛性分析与曲率无关，无需假设所有迭代点均位于流形的紧致子集内。
• 所提算法在有限和情形下匹配欧几里得设置中已知的下界，确立了在样本复杂度方面的最优性。
• 理论保证在最小假设下建立，包括无需有界迭代点或曲率界，显著增强了理论和实际鲁棒性。