[论文解读] Variance reduction for Riemannian non-convex optimization with batch size adaptation

Andi Han, Junbin Gao|arXiv (Cornell University)|Jul 3, 2020

Stochastic Gradient Optimization Techniques参考文献 58被引用 5

一句话总结

本文提出了一种方差减少的黎曼非凸优化自适应小批量策略，改进了R-SVRG和R-SRG/R-SPIDER方法。通过动态调整小批量大小以更高效地降低方差，该方法在总迭代复杂度上优于先前方法，实现了更低的总迭代复杂度、更快的收敛速度，并简化了分析过程，尤其在有限和在线设置下对梯度主导函数表现更优。

ABSTRACT

Variance reduction techniques are popular in accelerating gradient descent and stochastic gradient descent for optimization problems defined on both Euclidean space and Riemannian manifold. In this paper, we further improve on existing variance reduction methods for non-convex Riemannian optimization, including R-SVRG and R-SRG/R-SPIDER with batch size adaptation. We show that this strategy can achieve lower total complexities for optimizing both general non-convex and gradient dominated functions under both finite-sum and online settings. As a result, we also provide simpler convergence analysis for R-SVRG and improve complexity bounds for R-SRG under finite-sum setting. Specifically, we prove that R-SRG achieves the same near-optimal complexity as R-SPIDER without requiring a small step size. Empirical experiments on a variety of tasks demonstrate effectiveness of proposed adaptive batch size scheme.

研究动机与目标

• 通过动态调整小批量大小，改进黎曼非凸优化中的收敛复杂度。
• 在有限和在线设置下，降低R-SVRG和R-SRG/R-SPIDER的总迭代复杂度。
• 简化R-SVRG的收敛性分析，并在不依赖小步长的前提下，改进R-SRG的复杂度界。
• 证明自适应小批量大小在多种黎曼优化任务中均能提升性能。
• 提供理论保证，表明该自适应策略对梯度主导函数可实现近似最优复杂度。

提出的方法

• 提出一种小批量大小自适应机制，随时间增加小批量大小以降低梯度方差。
• 将自适应小批量大小应用于R-SVRG和R-SRG/R-SPIDER，修改其更新规则，使每次迭代使用可变的小批量大小。
• 采用带向量传输的递归梯度估计器，在保持流形上精度的同时降低方差。
• 在有限和在线设置下推导收敛界，表明其复杂度优于固定小批量方法。
• 采用统一输出采样策略以有界期望梯度范数，确保收敛性。
• 利用李雅普诺夫函数和递归方差减少技术，建立理论复杂度界。

实验结果

研究问题

• RQ1 小批量大小的自适应能否改善方差减少的黎曼非凸优化方法的总复杂度？
• RQ2 自适应小批量大小是否能在有限和在线黎曼非凸优化中实现更快的收敛？
• RQ3 能否在保持或改善复杂度界的同时，简化R-SVRG的收敛性分析？
• RQ4 所提方法是否能在黎曼流形上对梯度主导函数实现近似最优复杂度？
• RQ5 自适应小批量大小策略在不同黎曼优化任务中与固定小批量基线相比，其性能如何？

主要发现

• 所提出的自适应小批量大小策略在有限和在线设置下，均优于现有R-SVRG和R-SRG方法的总复杂度。
• 采用自适应小批量大小的R-SRG实现了与R-SPIDER相同的近似最优复杂度，且无需使用小步长。
• 在自适应小批量大小方案下，R-SVRG的收敛性分析被简化，其复杂度界也得到改善。
• 在主成分分析（PCA）、低秩矩阵补全和黎曼K均值聚类上的实证结果，证实了自适应小批量大小方法在多种流形上的有效性。
• 该方法在训练初期更高效地降低了梯度方差，并在接近收敛时自适应增加小批量大小，从而提升了稳定性和收敛速度。
• 与固定小批量R-SPIDER相比，总IFO复杂度降低了$1/\theta$倍，其中$\Xi = \mathcal{O}(\frac{\Theta G}{\epsilon})$主导了复杂度的标定。