[论文解读] Steady State Analysis of Episodic Reinforcement Learning

Huang Bojun|arXiv (Cornell University)|Nov 12, 2020

Reinforcement Learning in Robotics参考文献 35被引用 5

一句话总结

该论文证明了在任意行为策略下，具有有限时域任务的周期性强化学习环境均存在唯一的稳态分布，且边际状态分布会收敛至该稳态。论文提出了稳态策略梯度定理与递归扰动方法，以加速收敛，从而在周期性强化学习中实现统一且高效的数据收集，类似于持续强化学习。

ABSTRACT

This paper proves that the episodic learning environment of every finite-horizon decision task has a unique steady state under any behavior policy, and that the marginal distribution of the agent's input indeed converges to the steady-state distribution in essentially all episodic learning processes. This observation supports an interestingly reversed mindset against conventional wisdom: While the existence of unique steady states was often presumed in continual learning but considered less relevant in episodic learning, it turns out their existence is guaranteed for the latter. Based on this insight, the paper unifies episodic and continual RL around several important concepts that have been separately treated in these two RL formalisms. Practically, the existence of unique and approachable steady state enables a general way to collect data in episodic RL tasks, which the paper applies to policy gradient algorithms as a demonstration, based on a new steady-state policy gradient theorem. Finally, the paper also proposes and experimentally validates a perturbation method that facilitates rapid steady-state convergence in real-world RL tasks.

研究动机与目标

• 通过在周期性任务中证明唯一稳态的存在，解决周期性与持续性强化学习之间的理论差异。
• 通过表明性能度量与策略分布等共享概念在稳态条件下被严格关联，统一周期性与持续性强化学习的形式化体系。
• 通过利用收敛至稳态分布，开发一种在周期性强化学习中实现高效数据收集的实用方法。
• 提出一种递归扰动技术，以加速在混合缓慢或不收敛的边际分布环境中向稳态的收敛。
• 推导并验证一种新的稳态策略梯度定理，为现代策略梯度算法中在线、少步采样提供理论依据。

提出的方法

• 将周期性学习形式化为具有周期性重置结构的无限时域MDP族，以建模重复的周期。
• 通过马尔可夫链遍历性论证，证明在所有此类周期性MDP中，无论行为策略如何，均存在唯一的平稳分布。
• 推导出一种新的稳态策略梯度定理，将策略梯度表示为行为策略平稳分布上的期望。
• 引入一种递归扰动方法，通过以概率 $\epsilon = 1 - 1/\mathbb{E}[T]$ 注入自环，以加速混合并确保收敛至稳态。
• 通过递归扰动实现无偏估计，利用早期滚动步骤中的边际分布近似平稳分布。
• 在 Hopper、Humanoid 和 HalfCheetah 等环境中对方法进行实证验证，比较有无扰动情况下的收敛速度。

实验结果

研究问题

• RQ1 尽管具有有限时域，周期性强化学习任务中是否存在唯一的稳态分布？
• RQ2 在一般行为策略下，周期性强化学习中状态访问的边际分布是否能收敛至平稳分布？
• RQ3 如何利用稳态分布统一周期性与持续性强化学习的形式化体系？
• RQ4 基于扰动的方法是否能加速周期性或混合缓慢环境中的稳态收敛？
• RQ5 所提出的稳态策略梯度定理是否为策略梯度算法中在线、少步采样提供了理论上的坚实基础？

主要发现

• 在任意行为策略下，所有周期性强化学习任务中均存在唯一的稳态分布，解决了长期存在的理论模糊性。
• 在周期性任务的‘合理模型’中，状态访问的边际分布会收敛至稳态分布，Hopper 中于 $2 \cdot \text{AEL}$ 时收敛，合成周期环境中于 $3 \cdot \text{AEL}$ 时收敛。
• 在 HalfCheetah 等固定周期长度环境中，若无扰动，边际分布无法收敛，但应用 $\epsilon = 1 - 1/\mathbb{E}[T]$ 的递归扰动后可迅速收敛。
• 递归扰动方法即使在强周期性环境中，也能在仅 $3 \cdot \mathbb{E}[T]$ 步内准确近似平稳分布。
• 实证结果表明，与标准在线采样相比，扰动滚动方法在策略梯度估计中减少了偏差，且在 Humanoid 和 HalfCheetah 中实现了更优的收敛性。
• 稳态策略梯度定理为现代策略梯度算法中的在线采样提供了理论基础，解释了其在实践中被广泛采用的原因。