[论文解读] The ODE Method for Asymptotic Statistics in Stochastic Approximation and Reinforcement Learning

Vivek S. Borkar, Shuhang Chen+3 more|arXiv (Cornell University)|Oct 27, 2021

Neural Networks and Applications被引用 9

一句话总结

该论文在底层马尔可夫过程满足几何遍历性且噪声过程满足Donsker-Varadhan (DV3) 条件的前提下，通过一种新颖的李雅普诺夫函数，建立了随机逼近与强化学习算法的渐近正态性。论文证明了迭代序列及其平均版本的功能中心极限定理与标量中心极限定orem，表明归一化协方差矩阵收敛至Polyak-Ruppert平均的最小渐近协方差。

ABSTRACT

The paper concerns the $d$-dimensional stochastic approximation recursion, $$ θ_{n+1}= θ_n + α_{n + 1} f(θ_n, Φ_{n+1}) $$ where $ \{ Φ_n \}$ is a stochastic process on a general state space, satisfying a conditional Markov property that allows for parameter-dependent noise. The main results are established under additional conditions on the mean flow and a version of the Donsker-Varadhan Lyapunov drift condition known as (DV3): (i) An appropriate Lyapunov function is constructed that implies convergence of the estimates in $L_4$. (ii) A functional central limit theorem (CLT) is established, as well as the usual one-dimensional CLT for the normalized error. Moment bounds combined with the CLT imply convergence of the normalized covariance $ extsf{E}[ z_n z_n^T ]$ to the asymptotic covariance in the CLT, where $z_n =: (θ_n-θ^*)/\sqrt{α_n}$. (iii) The CLT holds for the normalized version $z^{ ext{PR}}_n =: \sqrt{n} [θ^{ ext{PR}}_n -θ^*]$, of the averaged parameters $θ^{ ext{PR}}_n =:n^{-1} \sum_{k=1}^nθ_k$, subject to standard assumptions on the step-size. Moreover, the covariance in the CLT coincides with the minimal covariance of Polyak and Ruppert. (iv) An example is given where $f$ and $\bar{f}$ are linear in $θ$, and $Φ$ is a geometrically ergodic Markov chain but does not satisfy (DV3). While the algorithm is convergent, the second moment of $θ_n$ is unbounded and in fact diverges. This arXiv version represents a major extension of the results in prior versions.The main results now allow for parameter-dependent noise, as is often the case in applications to reinforcement learning.

研究动机与目标

• 在噪声过程为几何遍历马尔可夫链时，建立随机逼近算法的渐近正态性。
• 在ODE方法框架下，证明迭代序列及其平均版本的功能中心极限定理与标量中心极限定理。
• 证明归一化协方差矩阵收敛至Polyak-Ruppert平均的最小渐近协方差。
• 识别出即使马尔可夫链不满足DV3条件，第二阶矩仍保持有界的条件。

提出的方法

• 在Donsker-Varadhan (DV3) 条件下，为联合过程 $(\theta_n, \Phi_n)$ 构造一个李雅普诺夫函数，以证明 $\theta_n$ 的 $L^4$ 收敛性。
• 将功能中心极限定理 (CLT) 技术应用于归一化误差 $z_n = (\theta_n - \theta^*) / \sqrt{\alpha_n}$，建立其弱收敛至扩散过程。
• 推导归一化误差的渐近协方差矩阵 $\Sigma_\theta$，并证明其在期望意义下的收敛性。
• 分析平均参数 $\tilde{\theta}^{\text{PR}}_n = n^{-1} \sum_{k=1}^n \theta_k$，证明 $\sqrt{n}(\theta^{\text{PR}}_n - \theta^*)$ 满足中心极限定理，且其渐近协方差为最小值 $\Sigma^{\text{PR}}_\theta$。
• 利用缩放后的ODE与鞅差分解，控制插值过程与ODE解之间的误差。
• 采用矩不等式与大偏差分析，建立当DV3条件不成立时第二阶矩无界的结论，即使在收敛条件下亦成立。

实验结果

研究问题

• RQ1 当噪声过程为几何遍历马尔可夫链时，随机逼近递推在何种条件下实现 $L^4$ 收敛？
• RQ2 归一化误差 $z_n = (\theta_n - \theta^*) / \sqrt{\alpha_n}$ 是否满足功能中心极限定理？
• RQ3 归一化协方差 $\mathbb{E}[z_n z_n^\top]$ 是否收敛至渐近协方差 $\Sigma_\theta$？
• RQ4 平均参数 $\tilde{\theta}^{\text{PR}}_n$ 是否满足具有最小渐近协方差 $\Sigma^{\text{PR}}_\theta$ 的中心极限定理？
• RQ5 当第二阶矩 $\mathbb{E}[\|\theta_n\|^2]$ 发散时，算法是否仍能在均方意义下收敛？

主要发现

• 在DV3条件下，通过为联合过程 $(\theta_n, \Phi_n)$ 构造的李雅普诺夫函数，证明了 $\theta_n$ 的 $L^4$ 收敛性。
• 归一化误差 $z_n = (\theta_n - \theta^*) / \sqrt{\alpha_n}$ 满足功能中心极限定理，其弱收敛至扩散过程。
• 归一化协方差 $\mathbb{E}[z_n z_n^\top]$ 随 $n \to \infty$ 收敛至渐近协方差 $\Sigma_\theta$。
• 对于平均参数 $\tilde{\theta}^{\text{PR}}_n$，$\sqrt{n}(\theta^{\text{PR}}_n - \theta^*)$ 的分布收敛，且 $\mathbb{E}[z^{\text{PR}}_n (z^{\text{PR}}_n)^\top]$ 收敛至 $\Sigma^{\text{PR}}_\theta$，即Polyak-Ruppert平均的最小协方差。
• 构造了一个例子：$f$ 与 $\overline{f}$ 为线性函数，马尔可夫链为几何遍历，但DV3条件不成立，导致 $\mathbb{E}[\|\theta_n\|^2] \to \infty$，尽管 $\theta_n$ 几乎必然收敛。