[论文解读] Q-learning Decision Transformer: Leveraging Dynamic Programming for Conditional Sequence Modelling in Offline RL

Taku Yamagata, Ahmed Khalil+1 more|arXiv (Cornell University)|Sep 8, 2022

Reinforcement Learning in Robotics被引用 12

一句话总结

本文提出Q-learning决策变换器（QDT），一种混合离线强化学习方法，利用Q-learning的动态规划估计来重标记离线数据集中的返回至目标（RTG）值，从而赋予决策变换器（DT）拼接能力——使其能够将次优轨迹组合成最优策略。QDT通过结合Q-learning（鲁棒的信用分配）与DT（序列建模）的优势，在多种环境中实现卓越性能，包括稀疏奖励和长时序任务，在具有挑战性的基准测试中优于DT和CQL。

ABSTRACT

Recent works have shown that tackling offline reinforcement learning (RL) with a conditional policy produces promising results. The Decision Transformer (DT) combines the conditional policy approach and a transformer architecture, showing competitive performance against several benchmarks. However, DT lacks stitching ability -- one of the critical abilities for offline RL to learn the optimal policy from sub-optimal trajectories. This issue becomes particularly significant when the offline dataset only contains sub-optimal trajectories. On the other hand, the conventional RL approaches based on Dynamic Programming (such as Q-learning) do not have the same limitation; however, they suffer from unstable learning behaviours, especially when they rely on function approximation in an off-policy learning setting. In this paper, we propose the Q-learning Decision Transformer (QDT) to address the shortcomings of DT by leveraging the benefits of Dynamic Programming (Q-learning). It utilises the Dynamic Programming results to relabel the return-to-go in the training data to then train the DT with the relabelled data. Our approach efficiently exploits the benefits of these two approaches and compensates for each other's shortcomings to achieve better performance. We empirically show these in both simple toy environments and the more complex D4RL benchmark, showing competitive performance gains.

研究动机与目标

• 解决决策变换器（DT）缺乏‘拼接能力’的问题，使其无法将次优轨迹组合为最优策略。
• 通过利用DT的序列建模能力，克服Q-learning在长时序和稀疏奖励设置下的不稳定性与样本效率低下问题。
• 通过使用Q-learning重标记数据集中返回至目标（RTG）值，提升DT的监督质量，从而改善离线强化学习性能。
• 开发一种无需架构重构的、无模型的模块化框架，以增强现有离线强化学习算法。
• 在多种环境中展示稳健性能，包括简单的网格世界、Maze2D以及具有延迟奖励的MuJoCo环境。

提出的方法

• 在离线数据集上训练一个Q-learning代理（具体为CQL），以估计每个状态-动作对的最优返回至目标（RTG）值。
• 使用Q-learning的估计结果，对原始离线数据集中的RTG值进行重标记，用学习到的最优RTG值替换原始RTG值。
• 在重标记后的数据集上微调决策变换器，此时目标为Q-learning学习到的RTG值，使模型能够从次优轨迹中学习最优行为。
• 利用Transformer的自注意力机制，基于重标记后的RTG值对长序列的状态和动作进行建模，实现有效的序列建模。
• 采用两阶段训练流程：首先在数据集上训练Q-learning（CQL），然后在重标记数据上进行预训练并微调DT。
• 通过使用标准的D4RL MuJoCo数据集，并在v0、v1和v2版本上进行评估，确保与现有离线强化学习基准的兼容性，提升可复现性。

实验结果

研究问题

• RQ1 Q-learning的估计是否能提升决策变换器拼接次优轨迹为最优策略的能力？
• RQ2 使用Q-learning对离线数据集中的返回至目标（RTG）进行重标记，是否能提升在长时序和稀疏奖励任务中的泛化能力与性能？
• RQ3 在各自方法已知存在弱点的环境中，所提出的QDT框架与独立的DT和CQL相比表现如何？
• RQ4 一种无需架构重构的、无模型的、结合Q-learning与DT的模块化方法，是否能在离线强化学习中超越端到端架构？
• RQ5 使用Q-learning估计重标记RTG值在多大程度上缓解了函数逼近下off-policy设置中Q-learning的不稳定性？

主要发现

• QDT成功使决策变换器具备拼接次优轨迹的能力，在简单网格世界和Maze2D等环境中解决了标准DT的关键局限。
• 在简单环境中，QDT实现最优性能，而DT因无法拼接而失败，CQL则因延迟奖励问题表现不佳。
• 在具有延迟奖励的MuJoCo Walker2d环境中，QDT显著优于CQL，后者在稀疏奖励场景下难以有效学习。
• 在Maze2D环境中，QDT优于DT的性能，但仍逊于CQL，表明在某些任务中仍有改进空间。
• 使用Q-learning估计重标记RTG值，可提供更准确且稳定的值监督，使DT在多种离线强化学习基准中实现更好的泛化能力。
• 该方法在不同D4RL数据集版本（v0、v1、v2）中均表现出稳健性，凸显其可复现性及在真实场景中的实用价值。