[论文解读] The Speed-Robustness Trade-Off for First-Order Methods with Additive Gradient Noise

Bryan Van Scoy, Laurent Lessard|arXiv (Cornell University)|Sep 10, 2021

Stochastic Gradient Optimization Techniques被引用 8

一句话总结

本文提出了一类一阶优化方法，通过调节一个可调参数，在收敛速度与对加性梯度噪声的鲁棒性之间实现可调的权衡。通过引入一个控制快速收敛与噪声敏感性之间平衡的标量参数，作者设计了接近帕累托最优的算法（如鲁棒的Heavy Ball，RHB），在激进调参时实现目前已知最快的收敛速率，而在为鲁棒性调参时则保持可控的噪声鲁棒性。

ABSTRACT

We study the trade-off between convergence rate and sensitivity to stochastic additive gradient noise for first-order optimization methods. Ordinary Gradient Descent (GD) can be made fast-and-sensitive or slow-and-robust by increasing or decreasing the stepsize, respectively. However, it is not clear how such a trade-off can be navigated when working with accelerated methods such as Polyak's Heavy Ball (HB) or Nesterov's Fast Gradient (FG) methods. We consider three classes of functions: (1) smooth strongly convex quadratics, (2) smooth strongly convex functions, and (3) functions that satisfy the Polyak-Lojasiewicz property and have one-sided Lipschitz gradients. For each function class, we present a tractable way to compute the convergence rate and sensitivity to additive gradient noise for a broad family of first-order methods, and we present algorithm designs that trade off these competing performance metrics. Each design consists of a simple analytic update rule with two states of memory, similar to HB and FG. Moreover, each design has a scalar tuning parameter that explicitly trades off convergence rate and sensitivity to additive gradient noise. We numerically validate the performance of our designs by comparing their convergence rate and sensitivity to those of many other algorithms, and through simulations on Nesterov's "bad function".

研究动机与目标

• 解决一阶优化方法中收敛速率与对加性梯度噪声敏感性之间的基本权衡问题。
• 为广泛一类一阶方法系统地计算收敛速率与噪声敏感性。
• 设计显式通过单一可调参数权衡速度与鲁棒性的近似帕累托最优算法。
• 将该框架扩展至三类函数：强凸二次函数、单点强凸函数与光滑强凸函数。
• 通过大量数值模拟验证所提算法的近似最优性与实际性能。

提出的方法

• 使用线性矩阵不等式（LMIs）构建统一分析框架，以计算一阶方法的收敛速率（ρ）与噪声敏感性（γ）。
• 引入受Polyak的Heavy Ball与Nesterov的快速梯度启发的两状态记忆更新规则，实现加速效应的高效参数化。
• 利用谱分析与基于李雅普诺夫的稳定性技术，为每类函数推导出ρ与γ的可处理表达式。
• 提出鲁棒Heavy Ball（RHB）与鲁棒加速方法（RAM）作为近似帕累托最优设计，其单一标量调参参数控制速度-鲁棒性权衡。
• 通过随机Hessian矩阵与i.i.d.高斯噪声的数值模拟验证性能与近似最优性。
• 在对比中使用带噪声梯度的精确线搜索，以确保对拟牛顿与共轭梯度方法的公平基准测试。

实验结果

研究问题

• RQ1 能否通过单一可调参数有效平衡加速一阶方法在收敛速度与对加性梯度噪声的鲁棒性之间的权衡？
• RQ2 对于光滑强凸函数，一阶方法在收敛速率与噪声敏感性之间最优权衡为何？
• RQ3 能否通过统一的分析框架，系统地推导出不同函数类别的近似帕累托最优算法设计？
• RQ4 RHB与RAM在收敛速度与噪声下的稳态误差方面，相较于标准方法（如GD、Nesterov的FG、NLCG、BFGS与SR1）表现如何？
• RQ5 所提方法的性能在瞬态与渐近阶段是否接近理论下限？

主要发现

• 所提出的鲁棒Heavy Ball（RHB）方法在为速度调参时，实现了目前已知最快的收敛速率，与Nesterov对光滑强凸函数的下界一致。
• 在为鲁棒性调参时，RHB在加性梯度噪声下保持显著低于标准GD、HB与FG的稳态误差（γ）。
• 数值模拟表明，即使在使用带噪声梯度的精确线搜索条件下，RHB在收敛速度与噪声鲁棒性方面仍优于NLCG、BFGS与SR1。
• 手动调参的分段常数版本RHB在瞬态阶段匹配Nesterov下界，在渐近阶段匹配噪声受限的收敛速率（在双对数坐标下斜率为-1/2）。
• 分析框架可高效计算一大类一阶方法的ρ与γ，其紧致界依赖于F_{m,L}类的提升维数ℓ。
• 所提方法族提供了一种实用且具有理论基础的噪声敏感性控制方式，无需牺牲收敛速度，通过单一标量参数实现直接的速度-鲁棒性权衡。