[论文解读] On the global convergence of a randomly perturbed dissipative nonlinear oscillator

Wenqing Hu, Chris Junchi Li+1 more|arXiv (Cornell University)|Dec 15, 2017

Stochastic processes and financial applications被引用 2

一句话总结

该论文证明了在平均意义上，带有随机扰动的耗散非线性振子在 𝒪(ln(ε⁻¹)) 时间内全局收敛于势函数的局部极小值点，其中 ε 为噪声尺度。通过时间尺度变换，这意味着随机梯度下降法的扩散近似在相对于步长平方根倒数的线性时间内逃离鞍点，表明其离散版本具有快速收敛性。

ABSTRACT

We consider in this work small random perturbations of a nonlinear oscillator with friction-type dissipation. We rigorously prove that under non-degenerate perturbations of multiplicative noise type, the perturbed system that describes the dynamics of the dissipative oscillator converges to local minimizers of the potential function in $\mathcal{O}(\ln(\varepsilon^{-1}))$ time on average, where $\varepsilon>0$ is the scale of the random perturbation. Under a change of time scale, this indicates that for the diffusion process that approximates the stochastic heavy-ball method, it takes (up to logarithmic factor) only a linear time of the square root of inverse stepsize to evade from all saddle points and hence it implies a fast convergence of its discrete-time counterpart.

研究动机与目标

• 分析小随机扰动下耗散非线性振子的长期行为。
• 建立扰动系统全局收敛至势函数局部极小值点的条件。
• 以噪声尺度 ε 表征收敛时间，并将其与随机优化方法的动力学联系起来。
• 将连续时间扩散过程与离散时间随机梯度下降法联系起来，尤其关注鞍点逃离时间。

提出的方法

• 将扰动振子建模为带有乘性噪声和摩擦型耗散的随机微分方程。
• 通过时间尺度变换将动力学与随机梯度下降法的扩散近似关联起来。
• 应用大偏差技术与李雅普诺夫函数分析，以界定到达局部极小值邻域的期望时间。
• 证明收敛时间在平均意义上为 𝒪(ln(ε⁻¹))，且与初始条件无关。
• 利用噪声的非退化条件，确保有效探索并逃离不稳定平衡点。

实验结果

研究问题

• RQ1 带有随机扰动的耗散非线性振子收敛至势函数局部极小值点的速度有多快？
• RQ2 收敛时间对噪声尺度 ε 的依赖关系如何？
• RQ3 经时间尺度变换后的动力学在连续与离散设置下如何与随机梯度下降法关联？
• RQ4 该扰动系统能否高效逃离鞍点？若能，其时间尺度为何？

主要发现

• 该扰动系统在平均意义上于 𝒪(ln(ε⁻¹)) 时间内收敛至局部极小值点，其中 ε 为噪声尺度。
• 该收敛时间与初始条件无关，且在乘性噪声非退化条件下成立。
• 经时间尺度变换后，近似随机梯度下降法的扩散过程以相对于步长平方根倒数的线性时间逃离鞍点。
• 该结果表明，离散时间随机梯度下降法通过高效避开鞍点实现了快速收敛。