[论文解读] Optimal Rate of Convergence for Quasi-Stochastic Approximation

Andrey Bernstein, Yue Chen+4 more|arXiv (Cornell University)|Mar 18, 2019

Reinforcement Learning in Robotics参考文献 29被引用 5

一句话总结

本文提出准随机逼近（QSA），一种随机逼近的确定性替代方法，通过使用结构化、非随机信号来降低方差，并实现最优的 1/t 收敛速率。通过用确定性振荡信号替代随机噪声，该框架在强化学习和最优控制中实现了更快的收敛速度，并在赫尔维茨稳定性条件下提供了理论保证，同时采用一种新颖的耦合论证方法进行速率分析。

ABSTRACT

The Robbins-Monro stochastic approximation algorithm is a foundation of many algorithmic frameworks for reinforcement learning (RL), and often an efficient approach to solving (or approximating the solution to) complex optimal control problems. However, in many cases practitioners are unable to apply these techniques because of an inherent high variance. This paper aims to provide a general foundation for "quasi-stochastic approximation," in which all of the processes under consideration are deterministic, much like quasi-Monte-Carlo for variance reduction in simulation. The variance reduction can be substantial, subject to tuning of pertinent parameters in the algorithm. This paper introduces a new coupling argument to establish optimal rate of convergence provided the gain is sufficiently large. These results are established for linear models, and tested also in non-ideal settings. A major application of these general results is a new class of RL algorithms for deterministic state space models. In this setting, the main contribution is a class of algorithms for approximating the value function for a given policy, using a different policy designed to introduce exploration.

研究动机与目标

• 开发一种随机逼近的确定性替代方法，以在根查找和优化中降低方差。
• 在确定性、振荡信号下，建立准随机逼近（QSA）的最优收敛速率。
• 为使用确定性动力学的 Q-learning 应用中观察到的更快收敛提供理论基础。
• 将经典随机逼近理论扩展至基于确定性信号驱动的递推关系，并进行严格的收敛速率分析。

提出的方法

• 使用连续时间递归更新：dθ/dt = a(t)f(θ(t), ξ(t))，其中 ξ(t) 为确定性信号（例如周期性信号）。
• 分析相关的常微分方程（ODE）：dχ/dt = f(χ)，其中 f(θ) 定义为对确定性信号的遍历平均。
• 采用 QSA 轨迹与 ODE 解之间的一种新颖耦合论证，以界定收敛误差。
• 对系统矩阵 A 使用利普希茨连续性和赫尔维茨稳定性假设，以确保全局渐近稳定性和收敛性。
• 使用格朗沃尔不等式和涉及状态转移矩阵 S(t;r) 的积分表达式，推导误差动态的界。
• 通过分部积分和对时间平均误差项的渐近分析，推导收敛速率界。

实验结果

研究问题

• RQ1 能否用确定性信号替代随机逼近中的随机噪声，以实现更快的收敛？
• RQ2 在准随机逼近中，何种条件可确保达到最优的 1/t 收敛速率？
• RQ3 在相同条件下，QSA 算法的方差与经典随机逼近相比如何？
• RQ4 信号结构（例如周期性）在实现方差降低和更快收敛中起什么作用？
• RQ5 经典的基于 ODE 的收敛框架能否被适配到确定性、非独立同分布的信号上？

主要发现

• 在假设 I + A 为赫尔维茨矩阵（即 A 的所有特征值 λ 满足 Re(λ) < -1）的条件下，QSA 实现了最优的 1/t 收敛速率。
• 存在一个有限常数 σ，使得 lim sup_{t→∞} t∥θ(t) − θ∗∥ ≤ σ，证明了 1/t 速率是可实现的。
• 当确定性信号调优良好时，方差显著降低，导致收敛速度优于经典随机逼近。
• 收敛分析依赖于 QSA 轨迹与 ODE 解之间的一种新颖耦合论证，误差界通过格朗沃尔不等式推导得出。
• 该框架在线性模型中得到验证，并被扩展至非理想设置，显示出超越理想化假设的鲁棒性。
• 理论结果被应用于一类新的强化学习算法，用于确定性状态空间模型，通过使用不同的策略引入探索。