[论文解读] Sequence Modeling of Temporal Credit Assignment for Episodic Reinforcement Learning

Yang Liu, Yunan Luo+4 more|arXiv (Cornell University)|May 31, 2019

Reinforcement Learning in Robotics参考文献 40被引用 17

一句话总结

本文提出了一种新颖的深度强化学习方法，采用基于Transformer的序列模型，将轨迹奖励分解为密集的、时间分布的信号，以改善信用分配。通过学习可解释的、注意力驱动的奖励分解，该方法在仅提供最终奖励的MuJoCo运动控制任务中显著提升了学习效率和样本效率。

ABSTRACT

Recent advances in deep reinforcement learning algorithms have shown great potential and success for solving many challenging real-world problems, including Go game and robotic applications. Usually, these algorithms need a carefully designed reward function to guide training in each time step. However, in real world, it is non-trivial to design such a reward function, and the only signal available is usually obtained at the end of a trajectory, also known as the episodic reward or return. In this work, we introduce a new algorithm for temporal credit assignment, which learns to decompose the episodic return back to each time-step in the trajectory using deep neural networks. With this learned reward signal, the learning efficiency can be substantially improved for episodic reinforcement learning. In particular, we find that expressive language models such as the Transformer can be adopted for learning the importance and the dependency of states in the trajectory, therefore providing high-quality and interpretable learned reward signals. We have performed extensive experiments on a set of MuJoCo continuous locomotive control tasks with only episodic returns and demonstrated the effectiveness of our algorithm.

研究动机与目标

• 为解决在仅能获得最终回报的时序强化学习中延迟或稀疏奖励的挑战。
• 在稀疏奖励信号环境中提升学习效率和样本复杂度。
• 开发一种基于深度序列模型的通用时序信用分配框架。
• 通过Transformer中的自注意力机制实现可解释的奖励分解。
• 在不违反因果关系的前提下，使用分解后的奖励实现正确且可扩展的策略梯度更新。

提出的方法

• 训练一个基于Transformer的神经网络，基于截至该时间点的完整历史，为轨迹中每个时间步预测密集的奖励信号。
• 通过使用带因果（自回归）掩码的多头自注意力机制，建模长距离依赖关系，使模型能够为过去的状态和动作分配信用。
• 利用奖励分解结果计算广义策略梯度，确保策略更新无偏。
• 对策略梯度应用偏差校正项，以补偿奖励回归不完美带来的影响，提升训练稳定性。
• 采用事后经验回放（hindsight experience replay）和历史高质量轨迹，以改善奖励函数的学习。
• 在仅提供时序回报的MuJoCo连续控制任务上验证该方法，使用标准强化学习算法结合学习到的密集奖励。

实验结果

研究问题

• RQ1 像Transformer这样的深度序列模型能否有效将时序回报分解为每个时间步有意义的密集奖励信号？
• RQ2 在奖励分解中使用注意力机制是否能提升可解释性与信用分配的准确性？
• RQ3 在稀疏奖励设置下，该方法与标准强化学习基线相比，在学习速度和样本效率方面表现如何？
• RQ4 不同网络架构和数据收集策略对奖励分解模型性能有何影响？
• RQ5 当奖励回归不理想时，偏差校正是否对稳定策略优化至关重要？

主要发现

• 在MuJoCo任务中，基于Transformer的奖励分解在学习效率和最终性能上均优于LSTM和前馈网络。
• 在数据收集过程中使用历史高质量轨迹（HO策略）显著提升了奖励学习性能。
• 偏差校正显著提高了策略梯度更新的鲁棒性，尤其是在奖励回归拟合不佳时。
• Transformer中的注意力权重提供了对哪些状态-动作对最有助于最终回报的可解释洞察。
• 该方法在仅提供最终奖励的多个MuJoCo运动控制环境中，显著提升了样本效率和最终回报。
• 使用分解奖励的广义策略梯度保持了理论正确性，并在稀疏监督下实现了稳定训练。