[论文解读] Understanding the Effects of Dataset Characteristics on Offline Reinforcement Learning

Kajetan Schweighofer, Markus Hofmarcher+5 more|arXiv (Cornell University)|Nov 8, 2021

Reinforcement Learning in Robotics参考文献 14被引用 4

一句话总结

本文研究了数据集特性——特别是轨迹质量（TQ）和状态-动作覆盖度（SACo）——对离线强化学习在离散动作环境中的性能影响。研究发现，基于离策略的深度Q网络（DQN）变体需要较高的SACo，而行为克隆在高TQ数据集上的表现优于或等同于最先进的离线强化学习算法。

ABSTRACT

In real world, affecting the environment by a weak policy can be expensive or very risky, therefore hampers real world applications of reinforcement learning. Offline Reinforcement Learning (RL) can learn policies from a given dataset without interacting with the environment. However, the dataset is the only source of information for an Offline RL algorithm and determines the performance of the learned policy. We still lack studies on how dataset characteristics influence different Offline RL algorithms. Therefore, we conducted a comprehensive empirical analysis of how dataset characteristics effect the performance of Offline RL algorithms for discrete action environments. A dataset is characterized by two metrics: (1) the average dataset return measured by the Trajectory Quality (TQ) and (2) the coverage measured by the State-Action Coverage (SACo). We found that variants of the off-policy Deep Q-Network family require datasets with high SACo to perform well. Algorithms that constrain the learned policy towards the given dataset perform well for datasets with high TQ or SACo. For datasets with high TQ, Behavior Cloning outperforms or performs similarly to the best Offline RL algorithms.

研究动机与目标

• 理解数据集特性如何影响离线强化学习的性能。
• 识别哪些算法族对特定数据集属性最为敏感。
• 在不同数据集条件下，评估行为克隆与离线强化学习算法的相对性能。
• 为离线强化学习中的数据集整理与算法选择提供实证指导。

提出的方法

• 本研究通过在轨迹质量（TQ）和状态-动作覆盖度（SACo）上进行受控变化的数据集，评估离线强化学习算法。
• TQ衡量数据集中轨迹的平均回报，而SACo量化所覆盖的状态-动作对的多样性。
• 分析聚焦于离散动作环境，并比较基于离策略的深度Q网络变体与行为克隆。
• 性能通过从每个数据集学习到的最终策略的回报进行衡量。
• 对那些将策略约束在数据集分布附近的算法，评估其在不同类型数据集上的鲁棒性。
• 在多个环境中进行实证评估，以确保研究发现的泛化能力。

实验结果

研究问题

• RQ1 轨迹质量（TQ）如何影响离线强化学习算法的性能？
• RQ2 状态-动作覆盖度（SACo）如何影响基于离策略的深度Q网络变体的性能？
• RQ3 在何种数据集条件下，行为克隆能优于或匹配最先进的离线强化学习算法？
• RQ4 哪些算法族对低TQ或低SACo最为敏感？
• RQ5 哪些数据集特性最能预测成功的离线策略学习？

主要发现

• 基于离策略的深度Q网络变体需要较高的状态-动作覆盖度（SACo）才能实现优异性能。
• 将策略约束在数据集分布附近的算法在TQ或SACo任一指标较高时表现良好。
• 在高轨迹质量（TQ）数据集上，行为克隆的表现优于或等同于最佳离线强化学习算法。
• 仅TQ高即可使行为克隆实现顶尖性能，即使SACo较低亦然。
• 离线强化学习算法的性能高度依赖于数据集的具体特性，尤其是TQ和SACo。
• 没有单一算法在所有类型的数据集中始终优于其他算法，凸显了基于数据集特征选择算法的重要性。