[论文解读] On the convergence of gradient-like flows with noisy gradient input

Panayotis Mertikopoulos, Mathias Staudigl|arXiv (Cornell University)|Nov 21, 2016

Stochastic Gradient Optimization Techniques参考文献 58被引用 9

一句话总结

本文分析了在约束凸优化中，噪声梯度输入下镜像下降动力学的收敛性。在噪声趋于零的极限下，建立了几乎必然收敛到解集的结果；在持续噪声下，实现了对内部解的集中；并提出了一种修正变体，可保证在任意噪声强度下收敛，同时给出了明确的收敛速率边界。

ABSTRACT

In view of solving convex optimization problems with noisy gradient input, we analyze the asymptotic behavior of gradient-like flows under stochastic disturbances. Specifically, we focus on the widely studied class of mirror descent schemes for convex programs with compact feasible regions, and we examine the dynamics' convergence and concentration properties in the presence of noise. In the vanishing noise limit, we show that the dynamics converge to the solution set of the underlying problem (a.s.). Otherwise, when the noise is persistent, we show that the dynamics are concentrated around interior solutions in the long run, and they converge to boundary solutions that are sufficiently "sharp". Finally, we show that a suitably rectified variant of the method converges irrespective of the magnitude of the noise (or the structure of the underlying convex program), and we derive an explicit estimate for its rate of convergence.

研究动机与目标

• 理解当梯度输入受噪声污染时，梯度类流的渐近行为。
• 分析在紧致可行集的约束凸规划中，受随机扰动影响的镜像下降动力学。
• 建立在持续噪声下，动力学仍能收敛到最优解的条件。
• 提出一种修正的镜像下降变体，确保收敛性不受噪声水平或问题结构的影响。

提出的方法

• 将带噪声的镜像下降动力学建模为带有伊藤过程的随机微分方程。
• 利用福克-普朗克方程和不变测度来表征在持续噪声下的长期分布行为。
• 应用亚历山德罗夫定理和光滑化技术以处理镜像映射和梯度函数中的非光滑性。
• 通过Fenchel耦合使用李雅普诺夫型分析推导收敛边界。
• 利用迹不等式和梯度的利普希茨连续性，推导出修正镜像下降变体的显式收敛速率。
• 利用遍历性和不变测度理论，分析轨迹在最优解附近的集中性。

实验结果

研究问题

• RQ1 当梯度输入受趋于零的噪声污染时，镜像下降动力学在何种条件下收敛到底层凸规划的最优解集？
• RQ2 持续的随机扰动如何影响约束凸规划中镜像下降轨迹的长期集中性？
• RQ3 能否通过修改镜像下降变体，确保在任意噪声强度或问题结构下实现收敛？
• RQ4 在一般凸规划下，此类修正变体的显式收敛速率是多少？
• RQ5 随机动力学的不变测度与最优解集及噪声强度之间有何关系？

主要发现

• 在噪声趋于零的极限下，镜像下降动力学以几乎必然的方式收敛到底层凸规划的解集。
• 在持续噪声下，动力学集中在内部解附近，并收敛到足够‘尖锐’的边界解。
• 修正的镜像下降变体可确保收敛性，且不受噪声强度或凸规划结构的影响。
• 该修正方法实现了显式的收敛速率边界，其依赖于梯度的利普希茨常数和噪声强度。
• 噪声动力学的不变分布与 $ e^{-2f(x)/\sigma^2} \, dx $ 成正比，表明随着噪声减小，其在最小值点附近呈指数集中。
• 对于修正变体，Fenchel耦合满足一个漂移不等式，从而保证收敛，其边界涉及噪声协方差矩阵的迹。