[论文解读] On Accelerated Methods in Optimization

Andre Wibisono, Ashia Wilson|arXiv (Cornell University)|Sep 11, 2015

Stochastic Gradient Optimization Techniques参考文献 6被引用 14

一句话总结

本文通过将高阶梯度方法与缩放梯度流联系起来，将加速方法与二阶Nesterov型微分方程联系起来，建立了一个连续时间框架，用于加速优化方法。证明了在离散时间中，加速算法可实现 $O(1/k^p)$ 的收敛速率，与连续对应物的 $O(1/t^p)$ 速率相匹配，并通过底层拉格朗日族的时间膨胀不变性，展示了其普遍性。

ABSTRACT

In convex optimization, there is an {\em acceleration} phenomenon in which we can boost the convergence rate of certain gradient-based algorithms. We can observe this phenomenon in Nesterov's accelerated gradient descent, accelerated mirror descent, and accelerated cubic-regularized Newton's method, among others. In this paper, we show that the family of higher-order gradient methods in discrete time (generalizing gradient descent) corresponds to a family of first-order rescaled gradient flows in continuous time. On the other hand, the family of {\em accelerated} higher-order gradient methods (generalizing accelerated mirror descent) corresponds to a family of second-order differential equations in continuous time, each of which is the Euler-Lagrange equation of a family of Lagrangian functionals. We also study the exponential variant of the Nesterov Lagrangian, which corresponds to a generalization of Nesterov's restart scheme and achieves a linear rate of convergence in discrete time. Finally, we show that the family of Lagrangians is closed under time dilation (an orbit under the action of speeding up time), which demonstrates the universality of this Lagrangian view of acceleration in optimization.

研究动机与目标

• 通过连续时间动力系统统一高阶与加速优化方法。
• 通过连续时间流解释凸优化中的加速现象。
• 建立离散加速算法与二阶欧拉-拉格朗日方程之间的对应关系。
• 通过Nesterov拉格朗日的指数变体，推广Nesterov的重启方案。
• 证明拉格朗日族在时间缩放下封闭，展示连续时间视角的结构性普遍性。

提出的方法

• 推导出一族对应于离散高阶梯度方法的连续时间一阶缩放梯度流。
• 引入一族对应于加速高阶方法的二阶微分方程（Nesterov流）。
• 使用欧拉-拉格朗日形式化推导Nesterov流作为拉格朗日泛函的变分原理。
• 应用时间缩放 $t = \epsilon^{1/p} k^p$，使离散时间步长与连续动力学相匹配。
• 引入Nesterov拉格朗日的指数变体，以推广重启方案。
• 证明拉格朗日族在时间膨胀下不变，表明其结构普遍性。

实验结果

研究问题

• RQ1 高阶梯度方法如何被解释为连续时间缩放梯度流的离散化？
• RQ2 加速高阶方法（如Nesterov方法）对应的连续时间二阶微分方程是什么？
• RQ3 能否通过连续时间变分原理推广Nesterov的重启方案？
• RQ4 离散时间中加速方法的收敛速率如何与连续对应物相关联？
• RQ5 加速方法所依赖的拉格朗日族在时间缩放（膨胀）下是否封闭？
• RQ6 能否通过时间膨胀下的不变性证明拉格朗日框架的普遍性？

主要发现

• 当 $\nabla^{(p-1)}f$ 是 $\frac{(p-1)!}{\epsilon}$-光滑且 $f$ 为凸函数时，$p$ 阶加速梯度方法的收敛速率为 $O(1/\epsilon k^p)$。
• 在相同的凸性与光滑性假设下，对应的连续时间Nesterov流表现出匹配的收敛速率 $O(1/t^p)$。
• Nesterov流作为依赖于 $p$ 的拉格朗日泛函的欧拉-拉格朗日方程推导得出，推广了Nesterov原始方案。
• Nesterov拉格朗日的指数变体使重启方案得以推广，在离散时间中实现线性收敛。
• 拉格朗日族在时间膨胀下封闭，即时间缩放可将一个拉格朗日变换为同一族内的另一个，展示了结构普遍性。
• 能量泛函 $E_t = (f(X_t) - f^*)^{-1/(p-1)}$ 被用于推导下降速率的下界，从而导出 $O(1/t^p)$ 的收敛界。