[论文解读] Multi-step Reinforcement Learning: A Unifying Algorithm

Kristopher De Asis, J. Fernando Hernandez-Garcia+2 more|arXiv (Cornell University)|Mar 3, 2017

Reinforcement Learning in Robotics被引用 18

一句话总结

本文提出了 Q(σ)，一种用于多步时序差分（TD）强化学习的统一算法，通过参数 σ 连续地在完整采样（Sarsa）与纯期望（Expected Sarsa）之间插值。该方法表明，在同策略预测与控制任务中，中间 σ 值的性能优于两种极端情况，且动态调整 σ 进一步提升了学习效率。

ABSTRACT

Unifying seemingly disparate algorithmic ideas to produce better performing algorithms has been a longstanding goal in reinforcement learning. As a primary example, TD($λ$) elegantly unifies one-step TD prediction with Monte Carlo methods through the use of eligibility traces and the trace-decay parameter $λ$. Currently, there are a multitude of algorithms that can be used to perform TD control, including Sarsa, $Q$-learning, and Expected Sarsa. These methods are often studied in the one-step case, but they can be extended across multiple time steps to achieve better performance. Each of these algorithms is seemingly distinct, and no one dominates the others for all problems. In this paper, we study a new multi-step action-value algorithm called $Q(σ)$ which unifies and generalizes these existing algorithms, while subsuming them as special cases. A new parameter, $σ$, is introduced to allow the degree of sampling performed by the algorithm at each step during its backup to be continuously varied, with Sarsa existing at one extreme (full sampling), and Expected Sarsa existing at the other (pure expectation). $Q(σ)$ is generally applicable to both on- and off-policy learning, but in this work we focus on experiments in the on-policy case. Our results show that an intermediate value of $σ$, which results in a mixture of the existing algorithms, performs better than either extreme. The mixture can also be varied dynamically which can result in even greater performance.

研究动机与目标

• 将 Sarsa、Expected Sarsa 和 Q-learning 等不同的多步 TD 控制算法统一为一个通用且可推广的框架。
• 引入一个连续参数 σ，用于控制备份过程中采样与期望的程度，实现平滑的偏差-方差权衡。
• 通过实证评估，验证在同策略学习中，中间 σ 值是否优于极端情况（完全采样与纯期望）。
• 探索在训练过程中动态调整 σ 是否能进一步提升样本效率与收敛速度。

提出的方法

• 提出 Q(σ)，一种多步动作价值算法，通过引入参数 σ ∈ [0,1]，统一了 Sarsa、Expected Sarsa 和 Q-learning。
• 当 σ = 1 时，Q(σ) 执行完全采样（类似 Sarsa 更新）；当 σ = 0 时，其计算纯期望（类似 Tree-backup 风格）。
• 采用原子 n 步备份机制，不使用资格迹，初始评估聚焦于同策略学习。
• 更新规则结合了即时回报与对下一动作 Q 值的加权组合，以及对所有动作的期望值，由 σ 控制。
• 采用具有学习率 αt 和误差项的随机过程，证明在标准假设下，算法收敛至最优 Q* 函数。
• 将理论分析扩展至证明：当 σ 固定或动态调整时，Q(σ) 几乎必然收敛至最优动作价值函数。

实验结果

研究问题

• RQ1 能否通过一个连续参数，将 Sarsa、Expected Sarsa 和 Q-learning 等现有多步 TD 控制方法统一为单一算法？
• RQ2 在 σ 介于 0（纯期望）与 1（完全采样）之间的中间值是否在同策略设置下优于任一极端情况？
• RQ3 在训练过程中动态调整 σ 是否能进一步提升样本效率与收敛速度，相比固定 σ？
• RQ4 在表格型与函数逼近设置下，Q(σ) 中偏差-方差权衡如何随不同 σ 值表现？

主要发现

• 在预测任务中，中间固定 σ 值的根均方误差（RMS）始终低于 Sarsa（σ = 1）与 Tree-backup（σ = 0）。
• 最优 σ 在训练初期较低（偏好更低方差），随后随时间推移而增加（减少偏差），表明动态权衡具有优势。
• 动态调整 σ 的方法相比任何固定 σ 值，均实现了更快收敛与更低的渐近误差，证明自适应控制可提升性能。
• 理论分析确认，在标准学习率与策略假设下，Q(σ) 几乎必然收敛至最优 Q* 函数。
• 该算法可推广至同策略与非同策略学习，尽管初始实验聚焦于同策略问题。
• Q(σ) 将现有方法作为特例包含：σ = 1 时为 Sarsa，σ = 0 时为 Tree-backup，且在特定条件下极限下可退化为 Q-learning。