[论文解读] Per-decision Multi-step Temporal Difference Learning with Control Variates

Kristopher De Asis, Richard S. Sutton|arXiv (Cornell University)|Jul 5, 2018

Reinforcement Learning in Robotics参考文献 13被引用 6

一句话总结

本文提出了一种用于n步时序差分学习的逐决策控制变量方法，通过从回报序列中的每个奖励中减去估计的动作值期望，从而在on-policy和off-policy设置下均降低方差。该方法显著提升了基线n步TD算法的学习准确性和性能，尤其在方差较高的off-policy场景中表现突出。

ABSTRACT

Multi-step temporal difference (TD) learning is an important approach in reinforcement learning, as it unifies one-step TD learning with Monte Carlo methods in a way where intermediate algorithms can outperform either extreme. They address a bias-variance trade off between reliance on current estimates, which could be poor, and incorporating longer sampled reward sequences into the updates. Especially in the off-policy setting, where the agent aims to learn about a policy different from the one generating its behaviour, the variance in the updates can cause learning to diverge as the number of sampled rewards used in the estimates increases. In this paper, we introduce per-decision control variates for multi-step TD algorithms, and compare them to existing methods. Our results show that including the control variates can greatly improve performance on both on and off-policy multi-step temporal difference learning tasks.

研究动机与目标

• 减少多步时序差分学习中的方差，特别是在高方差可能导致发散的off-policy设置中。
• 将控制变量的概念从bootstrapping步骤扩展到n步回报序列中的所有决策步骤。
• 通过在状态值函数和动作值函数中引入逐决策控制变量，统一并改进现有的n步TD算法。
• 通过n步框架，为控制变量与TD(λ)方法之间的关系提供理论和实证洞察。
• 评估控制变量缩放参数对不同环境和参数设置下学习稳定性和性能的影响。

提出的方法

• 通过从n步回报序列中的每个奖励中减去目标策略下预期动作值，提出逐决策控制变量。
• 基于方程18中的解析最优系数，利用动作值函数估计推导控制变量，并选择使方差最小的缩放参数c。
• 在on-policy（如n步Sarsa）和off-policy（如n步Expected Sarsa）设置中应用控制变量，提升学习的稳定性和准确性。
• 提出一种新型算法n-step CV Sarsa，作为Expected Sarsa的推广，其在每个决策步骤而非仅bootstrapping步骤应用控制变量。
• 通过展示在eligibility traces中进行微小调整可隐式诱导类似的方差减少效果，将逐决策控制变量与TD(λ)联系起来。
• 在连续状态空间中使用函数逼近，以评估其在表格型领域之外的泛化能力和可扩展性。

实验结果

研究问题

• RQ1 逐决策控制变量是否能减少n步TD方法中的方差，并提升学习性能，特别是在off-policy设置中？
• RQ2 在每个决策步骤应用控制变量与仅在bootstrapping步骤应用相比，其在误差和收敛性方面有何差异？
• RQ3 控制变量缩放参数c对学习稳定性和性能有何影响？
• RQ4 逐决策控制变量与更广泛的TD(λ)框架及eligibility traces之间有何关系？
• RQ5 在具有连续状态空间的函数逼近设置中，控制变量方法是否能提升性能？

主要发现

• 在on-policy和off-policy预测与控制任务中，n-step CV Sarsa均优于n-step Expected Sarsa，其值函数估计的方差和误差更低。
• 在5×5网格世界环境中，n-step CV Sarsa在off-policy设置中（方差较高）显著降低了平均回报误差，优于基线方法。
• 在Mountain Car控制任务中，n-step CV Sarsa的每集平均回报优于n-step Expected Sarsa，尽管由于贪婪策略减少了控制变量的优势，该效果不那么显著。
• 当n较大且学习率α较大时，某些情况下引入逐决策控制变量会导致学习发散，表明在估计不准确时对参数设置较为敏感。
• 与基线相比，状态值的逐决策控制变量提升了性能，但其表现仍不如动作值控制变量，表明动作值控制变量在基于值的控制中更为有效。
• 解析最优控制变量系数（方程18）提示可通过自适应在线缩放进一步提升性能，尽管本文未深入探讨此方向。