[论文解读] Understanding the Acceleration Phenomenon via High-Resolution Differential Equations

Bin Shi, Simon S. Du+2 more|arXiv (Cornell University)|Oct 21, 2018

Sparse and Compressive Sensing Techniques参考文献 30被引用 86

一句话总结

本文通过高分辨率 ODEs 区分 Nesterov 的加速梯度方法与 heavy-ball 方法，揭示梯度校正机制，并展示 NAG-C 在最小化平方梯度范数方面的三次方速率。

ABSTRACT

Gradient-based optimization algorithms can be studied from the perspective of limiting ordinary differential equations (ODEs). Motivated by the fact that existing ODEs do not distinguish between two fundamentally different algorithms---Nesterov's accelerated gradient method for strongly convex functions (NAG-SC) and Polyak's heavy-ball method---we study an alternative limiting process that yields high-resolution ODEs. We show that these ODEs permit a general Lyapunov function framework for the analysis of convergence in both continuous and discrete time. We also show that these ODEs are more accurate surrogates for the underlying algorithms; in particular, they not only distinguish between NAG-SC and Polyak's heavy-ball method, but they allow the identification of a term that we refer to as "gradient correction" that is present in NAG-SC but not in the heavy-ball method and is responsible for the qualitative difference in convergence of the two methods. We also use the high-resolution ODE framework to study Nesterov's accelerated gradient method for (non-strongly) convex functions, uncovering a hitherto unknown result---that NAG-C minimizes the squared gradient norm at an inverse cubic rate. Finally, by modifying the high-resolution ODE of NAG-C, we obtain a family of new optimization methods that are shown to maintain the accelerated convergence rates of NAG-C for smooth convex functions.

研究动机与目标

• 通过极限 ODEs 激发对基于梯度的优化的研究，并解决在传统 ODEs 中 NAG-SC 与 heavy-ball 的不可区分性。
• 引入一种保留 O(sqrt{s}) 项的高分辨率 ODE 框架，以区分不同算法。
• 开发 Lyapunov 函数技术以在连续时间和离散时间中分析收敛性。
• 揭示梯度校正项对于加速至关重要。
• 将分析扩展到 NAG-C，并推导关于梯度范数最小化速率的新见解。

提出的方法

• 通过在 NAG-SC 的极限过程中包含 O(sqrt{s}) 项来推导高分辨率 ODE，揭示由 Hessian 驱动的梯度校正。
• 为高分辨率 ODE 构建连续时间 Lyapunov 函数并证明其沿轨迹递减。
• 通过相空间表征将连续 Lyapunov 分析转化为离散时间 Lyapunov 函数。
• 使用高分辨率 ODE 框架比较 NAG-SC 与 heavy-ball 方法并解释加速差异。
• 表明梯度校正项在离散形式中出现并影响收敛行为。
• 将该框架应用于 NAG-C，以确立最小化平方梯度范数的三次方速率，并讨论拓展。

实验结果

研究问题

• RQ1 高分辨率 ODE 如何区分 NAG-SC 与 Polyak 的 heavy-ball 方法？
• RQ2 相比于 heavy-ball 方法，Hessian 驱动的梯度校正在 NAG-SC 的加速中扮演怎样的角色？
• RQ3 连续时间 Lyapunov 分析能否解释 NAG-SC 的离散加速特性？
• RQ4 在梯度范数方面，而不仅仅是函数值，可以为 NAG-C 获得哪些收敛速率？
• RQ5 高分辨率 ODE 框架能否产生保持加速的新优化方法？

主要发现

• 高分辨率 ODE 通过保留梯度校正项，将 NAG-SC 与 heavy-ball 方法区分开来。
• 梯度校正项通过 Hessian 引入自适应阻尼，有助于加速。
• 离散 Lyapunov 函数恢复了 NAG-SC 的最优线性收敛速率。
• 对于 NAG-C，该框架显示了最小化平方梯度范数的新反三次速率。
• 高分辨率 ODE 比低分辨率 ODE 提供了对离散化算法更准确的代理。
• 对 NAG-C 的高分辨率 ODE 的修改产生了一系列在光滑凸函数上保持加速速率的方法。