[论文解读] Shadowing Properties of Optimization Algorithms

Antonio Orvieto, Aurélien Lucchi|arXiv (Cornell University)|Nov 12, 2019

Model Reduction and Neural Networks被引用 10

一句话总结

该论文证明，在强凸性或接近双曲鞍点等温和正则性条件下，梯度下降（GD）和多米诺球（HB）方法能对其对应的常微分方程（ODE）模型实现影子跟踪。通过允许初始条件存在微小扰动，离散算法的迭代点能紧密跟随连续ODE轨迹，从而解决了标准ODE近似中指数级误差增长的问题。

ABSTRACT

Ordinary differential equation (ODE) models of gradient-based optimization methods can provide insights into the dynamics of learning and inspire the design of new algorithms. Unfortunately, this thought-provoking perspective is weakened by the fact that, in the worst case, the error between the algorithm steps and its ODE approximation grows exponentially with the number of iterations. In an attempt to encourage the use of continuous-time methods in optimization, we show that, if some additional regularity on the objective is assumed, the ODE representations of Gradient Descent and Heavy-ball do not suffer from the aforementioned problem, once we allow for a small perturbation on the algorithm initial condition. In the dynamical systems literature, this phenomenon is called shadowing. Our analysis relies on the concept of hyperbolicity, as well as on tools from numerical analysis.

研究动机与目标

• 解决离散优化算法随时间推移可能与ODE近似值发生指数级偏离的根本性问题。
• 建立离散算法迭代点在存在标准数值积分误差的情况下，仍能紧密跟随连续ODE轨迹的条件。
• 将动力系统中的影子跟踪概念引入优化领域，建立连续时间模型与离散算法之间严谨的联系。
• 为基于ODE的分析提供理论基础，以推导收敛性保证并设计机器学习中的新算法。
• 证明在强凸性或临界点附近为双曲性等现实假设下，GD与HB方法的影子跟踪性质成立。

提出的方法

• 利用动力系统中影子跟踪的数学概念，即伪轨道（离散算法）在初始条件微小扰动下可跟随真实轨迹（ODE解）。
• 应用数值分析与双曲性理论工具，证明当目标函数满足正则性条件时，GD与HB的ODE流可被其离散对应物影子跟踪。
• 通过线性双曲性分析，证明在步长 $ h $、动量 $ \beta $ 及Hessian矩阵特征值满足假设条件下，相空间中的多米诺球映射为双曲性。
• 通过积分器方程中的残差项推导离散算法与ODE轨迹之间的误差界，表明每步局部误差为 $ \mathcal{O}(h^2) $。
• 采用不依赖李雅普诺夫函数的分析方法，聚焦于通过影子跟踪实现的拓扑等价性，避免了从连续李雅普诺夫函数重构离散李雅普诺夫函数的需要。
• 通过在机器学习问题上的实验验证理论结果，表明在所述条件下，离散算法与ODE流之间存在良好的经验一致性。

实验结果

研究问题

• RQ1 在何种条件下，梯度下降与多米诺球方法的离散迭代点可被视为其对应ODE模型的影子？
• RQ2 通过在初始条件中引入微小扰动，是否可缓解标准ODE近似中通常出现的指数级误差增长？
• RQ3 动力系统中的双曲性与影子跟踪理论如何应用于机器学习中的优化算法？
• RQ4 在多大程度上可可靠地使用连续时间ODE分析来推导收敛性保证或启发离散优化中的新算法？
• RQ5 当目标函数为强凸性或接近双曲鞍点时，优化算法是否仍具备影子跟踪性质？

主要发现

• 当目标函数为强凸性或接近双曲鞍点时，梯度下降与多米诺球方法能对其ODE对应物实现影子跟踪。
• 当步长 $ h \leq \sqrt{2/L} $ 且动量参数 $ \beta = 1 - \alpha h \in [0,1) $ 时，影子跟踪性质成立，确保离散映射为线性双曲性。
• 对于二次目标函数，若Hessian矩阵无零特征值，且步长与动量满足上述约束，则多米诺球方法的离散映射在相空间中为线性双曲性。
• 离散算法与ODE轨迹之间的误差每步被限制在 $ \mathcal{O}(h^2) $ 以内，全局误差随时间最多线性增长，避免了指数级发散。
• 理论结果在机器学习问题上得到实证支持，表明在所述条件下，算法迭代点与ODE轨迹高度一致。
• 本工作开创性地将影子跟踪理论应用于优化领域，提出了一套不依赖李雅普诺夫函数的新框架，用于连接连续与离散动力系统。