[论文解读] Online Regularized Nonlinear Acceleration

Damien Scieur, Edouard Oyallon+2 more|arXiv (Cornell University)|May 24, 2018

Stochastic Gradient Optimization Techniques参考文献 12被引用 6

一句话总结

本文提出在线正则化非线性加速（Online RNA），一种新颖的方法，通过在实时应用中对Anderson型外推法施加正则化，加速梯度下降和Nesterov快速梯度法等一阶优化算法。该方法在凸问题上实现了渐近最优收敛速率，并在无需线搜索或问题特定参数的情况下，显著提升了标准方法的性能。

ABSTRACT

Regularized nonlinear acceleration (RNA) estimates the minimum of a function by post-processing iterates from an algorithm such as the gradient method. It can be seen as a regularized version of Anderson acceleration, a classical acceleration scheme from numerical analysis. The new scheme provably improves the rate of convergence of fixed step gradient descent, and its empirical performance is comparable to that of quasi-Newton methods. However, RNA cannot accelerate faster multistep algorithms like Nesterov's method and often diverges in this context. Here, we adapt RNA to overcome these issues, so that our scheme can be used on fast algorithms such as gradient methods with momentum. We show optimal complexity bounds for quadratics and asymptotically optimal rates on general convex minimization problems. Moreover, this new scheme works online, i.e., extrapolated solution estimates can be reinjected at each iteration, significantly improving numerical performance over classical accelerated methods.

研究动机与目标

• 开发一种通用加速框架，适用于Nesterov方法等快速多步算法，克服先前RNA方法无法加速这些算法的局限性。
• 实现在线加速——在每次迭代后应用外推，相比批量重启方案，提升数值稳定性和性能。
• 确保对二次函数和一般凸函数（包括随机设置）均具备收敛性与最优复杂度界。
• 在大规模问题（包括深度学习）上，展示与BFGS和Katyusha等最先进方法相当的可扩展性与竞争力。

提出的方法

• 通过修改外推步骤以整合Nesterov快速梯度等方法的动量项，将正则化非线性加速（RNA）适配至多步算法。
• 在系数计算中引入正则化项，以稳定外推过程，防止在病态或噪声环境下发散。
• 采用递归公式在线计算外推迭代点，实现在每次迭代后重新注入改进的估计值。
• 采用带Tikhonov正则化的最小二乘公式求解外推系数，确保数值稳定性。
• 将方法应用于确定性和随机优化，包括有限和问题与深度神经网络。
• 采用随问题条件数或数据规模动态调整的正则化参数，以维持稳定性。

实验结果

研究问题

• RQ1 RNA能否推广至加速Nesterov快速梯度法等多步算法，这些算法比标准梯度下降更快？
• RQ2 与批量重启方法相比，在线应用RNA（即每次迭代后重新计算外推）是否能提升收敛速度与稳定性？
• RQ3 所提方法能否在无需了解条件数的情况下，实现光滑及（强）凸函数的渐近最优收敛速率？
• RQ4 在凸与非凸问题上，Online RNA与BFGS和Katyusha等成熟方法相比，在性能与可扩展性方面如何？
• RQ5 RNA的计算开销如何？其随问题规模与模型复杂度的扩展特性如何？

主要发现

• Online RNA在光滑及（强）凸函数上实现了渐近最优收敛速率，与Nesterov方法的下界一致。
• 该方法显著提升了标准梯度下降和Nesterov快速梯度的收敛速度，尤其在条件数高达10^6的病态问题中表现突出。
• 正则化至关重要：未正则化的Anderson加速在噪声或病态环境下会发散，而Online RNA在适当λ调优下保持稳定。
• 在MNIST数据集上，Online RNA优于SGD和SAGA，且与Katyusha（一种加速有限和方法）相当，且无需线搜索。
• 在ImageNet上训练ResNet-50时，离线RNA保持模型精度，而在线RNA导致性能下降，表明在线加速在非凸深度学习设置中效果较弱。
• RNA的计算开销与深度网络中单次前向-反向传播相比可忽略不计，使其在CPU上实现加速成为可能，尤其当N增大时更具优势。