[论文解读] When should we prefer Decision Transformers for Offline Reinforcement Learning?

Prajjwal Bhargava, Rohan Chitnis+3 more|arXiv (Cornell University)|May 23, 2023

Evolutionary Algorithms and Applications被引用 5

一句话总结

本文研究了在离线强化学习中，决策变换器（Decision Transformers, DT）在何种情况下优于Q-Learning和模仿学习。通过在d4rl和robomimic基准上的实证评估，发现DT对次优数据和稀疏奖励数据更具鲁棒性，虽然需要更多数据，但在低质量或复杂设置下性能更优，数据量提升5倍可使Atari环境的平均得分提高2.5倍。

ABSTRACT

Offline reinforcement learning (RL) allows agents to learn effective, return-maximizing policies from a static dataset. Three popular algorithms for offline RL are Conservative Q-Learning (CQL), Behavior Cloning (BC), and Decision Transformer (DT), from the class of Q-Learning, Imitation Learning, and Sequence Modeling respectively. A key open question is: which algorithm is preferred under what conditions? We study this question empirically by exploring the performance of these algorithms across the commonly used D4RL and Robomimic benchmarks. We design targeted experiments to understand their behavior concerning data suboptimality, task complexity, and stochasticity. Our key findings are: (1) DT requires more data than CQL to learn competitive policies but is more robust; (2) DT is a substantially better choice than both CQL and BC in sparse-reward and low-quality data settings; (3) DT and BC are preferable as task horizon increases, or when data is obtained from human demonstrators; and (4) CQL excels in situations characterized by the combination of high stochasticity and low data quality. We also investigate architectural choices and scaling trends for DT on Atari and D4RL and make design/scaling recommendations. We find that scaling the amount of data for DT by 5x gives a 2.5x average score improvement on Atari.

研究动机与目标

• 确定在何种条件下，通过决策变换器实现的序列建模优于离线强化学习中的Q-Learning和模仿学习。
• 评估DT、CQL和BC在不同数据质量、任务复杂度和环境特性下的鲁棒性。
• 为在真实离线强化学习场景中部署DT提供实用的设计建议。
• 研究数据量和模型规模对DT性能的影响，特别是在Atari和d4rl环境中的表现。

提出的方法

• 在d4rl和robomimic基准上，通过实证比较三种范式：保守Q-Learning（CQL）、行为克隆（BC）和决策变换器（DT）。
• 通过在最佳X%或最差X%的轨迹上进行训练，系统性地改变数据质量，以评估对次优数据的鲁棒性。
• 通过增加轨迹长度和引入动作噪声，评估各离线强化学习范式的鲁棒性，以模拟离线数据集中的探索行为。
• 通过调整模型规模和数据量，评估可扩展性，并测量在Atari和d4rl环境中的性能提升。
• 在所有模型中使用标准超参数和训练协议，以确保公平比较。
• 通过分析返回目标条件和上下文窗口机制在DT中的影响，并对初始学习率和上下文长度进行消融实验。

实验结果

研究问题

• RQ1 当在高质量与低质量数据子集上训练时，DT、CQL和BC的性能如何变化？
• RQ2 轨迹长度和动作中的噪声如何影响各离线强化学习范式的鲁棒性？
• RQ3 任务复杂度（以状态空间大小和任务时域长度衡量）如何影响三种范式的相对性能？
• RQ4 DT在数据量和模型规模方面的扩展规律是什么？这些规律如何影响Atari和d4rl环境中的性能表现？
• RQ5 在何种场景下，序列建模相比Q-Learning或模仿学习更具优势？

主要发现

• 通过决策变换器实现的序列建模对数据次优性具有更强的鲁棒性，尤其在稀疏奖励和低质量数据设置下优于Q-Learning。
• DT需要比Q-Learning更多的数据才能达到竞争性性能，但在数据质量下降时表现出显著更好的泛化能力。
• 将DT的数据量提升5倍，可在Atari环境中实现平均得分2.5倍的提升。
• 更大的DT模型收敛所需训练步数更少，表明模型容量增加可提升样本效率。
• 在数据由人类示范者收集或任务时域较长的场景下，DT和模仿学习优于Q-Learning。
• 在高维状态空间或长时域任务中，DT保持强性能，而Q-Learning和BC的性能则明显下降。