[论文解读] Nonlinear Two-Time-Scale Stochastic Approximation: Convergence and Finite-Time Performance

Thinh T. Doan|arXiv (Cornell University)|Nov 3, 2020

Advanced Thermodynamics and Statistical Mechanics被引用 4

一句话总结

该论文在标准假设下建立了非线性双时间尺度随机逼近的有限时间收敛速率，通过借鉴奇异摄动系统理论的李雅普诺夫函数，证明了均方误差以 $\mathcal{O}(1/k^{2/3})$ 的速率衰减。分析精确平衡了快慢时间尺度的步长，以管理迭代之间的耦合，为广泛使用的随机优化算法类提供了严格的性能保证。

ABSTRACT

Two-time-scale stochastic approximation, a generalized version of the popular stochastic approximation, has found broad applications in many areas including stochastic control, optimization, and machine learning. Despite its popularity, theoretical guarantees of this method, especially its finite-time performance, are mostly achieved for the linear case while the results for the nonlinear counterpart are very sparse. Motivated by the classic control theory for singularly perturbed systems, we study in this paper the asymptotic convergence and finite-time analysis of the nonlinear two-time-scale stochastic approximation. Under some fairly standard assumptions, we provide a formula that characterizes the rate of convergence of the main iterates to the desired solutions. In particular, we show that the method achieves a convergence in expectation at a rate $\\mathcal{O}(1/k^{2/3})$, where $k$ is the number of iterations. The key idea in our analysis is to properly choose the two step sizes to characterize the coupling between the fast and slow-time-scale iterates.

研究动机与目标

• 为非线性双时间尺度随机逼近的有限时间性能保证填补理论空白，此前该领域在非线性情况下缺乏超越线性情形的结果。
• 推导求解耦合非线性随机方程时迭代误差的均方误差的显式收敛速率公式。
• 理解快慢两种不同步长的选择如何影响算法的收敛速度与稳定性。
• 将经典奇异摄动理论从控制领域拓展至随机逼近，以分析在噪声影响下耦合的快慢动态系统。
• 为强化学习和分布式优化中广泛应用的双时间尺度方法提供理论基础。

提出的方法

• 构建一个李雅普诺夫函数以分析快慢迭代耦合的动力学，捕捉两个时间尺度之间的相互作用。
• 分析假设了算子 F 和 G 的标准正则性条件，包括利普希茨连续性和强单调性。
• 步长 $\alpha_k$ 和 $\beta_k$ 的选择满足 $\beta_k \ll \alpha_k$，其中 $\alpha_k = \Theta(k^{-1/3})$ 且 $\beta_k = \Theta(k^{-2/3})$，以平衡收敛速度与噪声平均效果。
• 推导出估计误差向量的期望平方误差的递归不等式，并通过乘积项和指数不等式对其进行有界化。
• 使用不等式 $1 + x \leq \exp(x)$ 及其对偶形式 $1 + x \geq \exp(-x)$ 来控制递归误差边界中出现的乘积项。
• 通过求和误差递归式并应用步长序列的积分判别法边界，最终推导出收敛速率。

实验结果

研究问题

• RQ1 在标准假设下，非线性双时间尺度随机逼近的有限时间收敛速率是什么？
• RQ2 快慢时间尺度步长的相对大小如何影响算法的收敛速度与稳定性？
• RQ3 非线性双时间尺度随机逼近的收敛速率是否可以显式表征？如果是，其函数形式为何？
• RQ4 奇异摄动系统理论中的技术在多大程度上可被适配以分析具有耦合动态的非线性随机逼近？
• RQ5 在非线性情况下，是否可能实现快于 $\mathcal{O}(1/k^{2/3})$ 的收敛速率，如在线性情况下所见？

主要发现

• 双时间尺度随机逼近算法的均方误差以 $\mathcal{O}(1/k^{2/3})$ 的速率收敛至零，其中 $k$ 为迭代次数。
• 当快时间尺度步长 $\alpha_k$ 按 $\Theta(k^{-1/3})$ 缩放，慢时间尺度步长 $\beta_k$ 按 $\Theta(k^{-2/3})$ 缩放时，可实现该收敛速率。
• 分析表明，通过精心选择步长，快慢迭代之间的耦合可被有效管理，从而确保稳定性和收敛性。
• 基于李雅普诺夫的方法成功界定了在存在噪声查询反馈的情况下误差在迭代间的传播。
• 在给定假设下，所推导的收敛速率是紧致的，并与线性双时间尺度情形下的最优已知速率一致，尽管非线性情形需要根本不同的分析方法。
• 结果为在强化学习和分布式优化中使用双时间尺度方法提供了理论依据，这些算法在实际中被广泛部署。