[论文解读] Optimal Finite-Sum Smooth Non-Convex Optimization with SARAH.

Lam M. Nguyen, Marten van Dijk+4 more|arXiv (Cornell University)|Jan 23, 2019

Stochastic Gradient Optimization Techniques参考文献 24被引用 17

一句话总结

本文证明，在稍作修改后，SARAH 算法在利普希茨连续梯度假设下，针对有限和光滑非凸优化问题，可实现寻找一阶驻点的最优复杂度 $\Omega(\sqrt{n}/\epsilon)$。该研究确立 SARAH 为首个达到理论下界的方差缩减方法，证明其最优性并优于现有方法。

ABSTRACT

The total complexity (measured as the total number of gradient computations) of a stochastic first-order optimization algorithm that finds a first-order stationary point of a finite-sum smooth nonconvex objective function $F(w)=\frac{1}{n} \sum_{i=1}^n f_i(w)$ has been proven to be at least $\Omega(\sqrt{n}/\epsilon)$ where $\epsilon$ denotes the attained accuracy $\mathbb{E}[ \| abla F( ilde{w})\|^2] \leq \epsilon$ for the outputted approximation $ ilde{w}$ (Fang et al.,2018). This paper is the first to show that this lower bound is tight for the class of variance reduction methods which only assume the Lipschitz continuous gradient assumption. We prove this complexity result for a slightly modified version of the SARAH algorithm in (Nguyen et al.,2017a;b) - showing that SARAH is optimal and dominates all existing results. For convex optimization, we propose SARAH++ with sublinear convergence for general convex and linear convergence for strongly convex problems; and we provide a practical version for which numerical experiments on various datasets show an improved performance.

研究动机与目标

• 弥合方差缩减方法在非凸有限和优化中已知下界与可实现复杂度之间的差距。
• 证明经过稍作修改的 SARAH 算法在光滑非凸问题中可达到理论下界 $\Omega(\sqrt{n}/\epsilon)$。
• 在利普希茨连续梯度假设下，确立 SARAH 在方差缩减方法中的最优性。
• 通过提出 SARAH++，将框架扩展至凸优化，分别实现一般凸情况下的次线性收敛和强凸情况下的线性收敛。
• 开发 SARAH++ 的实用变体，并通过真实数据集上的数值实验验证其性能。

提出的方法

• 引入 SARAH 算法的修改版本，保留其核心递归方差缩减机制，同时在非凸设置下确保最优收敛性。
• 分析基于利普希茨连续梯度假设，以界定输出点处梯度范数的期望值。
• 该算法通过控制变量维护全梯度的递归估计，从而降低随机梯度更新中的方差。
• 对于凸问题，SARAH++ 采用自适应步长设计，实现一般凸目标的次线性收敛和强凸目标的线性收敛。
• 提出 SARAH++ 的实用实现，结合线搜索和自适应学习率策略以提升实际性能。
• 通过一种新颖的分析框架推导理论复杂度界，该框架可追踪迭代过程中梯度范数的衰减。

实验结果

研究问题

• RQ1 方差缩减方法能否在非凸有限和优化中实现理论下界 $\Omega(\sqrt{n}/\epsilon)$？
• RQ2 在修改形式下，SARAH 是否为光滑非凸有限和问题中方差缩减算法中的最优解？
• RQ3 SARAH 框架能否扩展至凸优化并具备可证明的收敛保证？
• RQ4 所提出的 SARAH++ 实用变体在实际评估中是否优于现有方法？
• RQ5 递归方差缩减机制与复杂度界紧致性之间存在何种关系？

主要发现

• 修改后的 SARAH 算法在光滑非凸有限和问题中，可实现寻找一阶驻点的最优复杂度 $\Omega(\sqrt{n}/\epsilon)$。
• 该复杂度界被证明是紧致的，表明在相同假设下，任何方差缩减方法均无法实现更优性能。
• SARAH 是首个达到理论下界的算法，证明其在方差缩减方法中具有最优性。
• 对于凸问题，SARAH++ 在一般凸目标下实现次线性收敛，在强凸目标下实现线性收敛。
• SARAH++ 的实用版本在各类真实数据集的数值实验中表现出更优性能。
• 理论分析确认，SARAH 中的递归梯度估计可实现最优方差缩减，从而支持复杂度界的紧致性。