[论文解读] Offline Reinforcement Learning Hands-On

Louis Monier, Jakub Kmec+5 more|arXiv (Cornell University)|Nov 29, 2020

Reinforcement Learning in Robotics参考文献 12被引用 4

一句话总结

本文通过对具有不同质量（随机、中等、专家）的合成数据集在离散和连续控制环境中进行实证研究，系统评估了离线强化学习方法——行为克隆（BC）、CRR 和 CQL 的实际表现。研究发现，BC 在连续控制任务中表现稳健且作为基线方法依然强劲；而 CQL 和 CRR 的性能则因数据质量与环境复杂度的不同而表现不一，其中 CQL 尽管理论基础扎实，但实际调参困难、稳定性差。

ABSTRACT

Offline Reinforcement Learning (RL) aims to turn large datasets into powerful decision-making engines without any online interactions with the environment. This great promise has motivated a large amount of research that hopes to replicate the success RL has experienced in simulation settings. This work ambitions to reflect upon these efforts from a practitioner viewpoint. We start by discussing the dataset properties that we hypothesise can characterise the type of offline methods that will be the most successful. We then verify these claims through a set of experiments and designed datasets generated from environments with both discrete and continuous action spaces. We experimentally validate that diversity and high-return examples in the data are crucial to the success of offline RL and show that behavioural cloning remains a strong contender compared to its contemporaries. Overall, this work stands as a tutorial to help people build their intuition on today's offline RL methods and their applicability.

研究动机与目标

• 评估主流离线强化学习算法（BC、CRR、CQL）在具有不同数据质量的受控合成数据集上的实际性能。
• 探究数据集属性（如多样性与回报分布）对离线强化学习方法成功与否的影响。
• 提供一种基于实证的、实践导向的对比分析，帮助从业者根据数据质量和任务特征选择合适的算法。
• 揭示实现前沿方法（如 CQL）时面临的具体挑战，包括超参数敏感性以及原始论文未涵盖的实现差异。

提出的方法

• 作者在具有离散和连续动作空间的环境中，使用不同质量的策略（随机、中等、专家）生成合成数据集。
• 评估三种离线强化学习方法：行为克隆（BC）、Critic Regularized Regression（CRR）和 Conservative Q-Learning（CQL），均采用标准深度强化学习架构。
• 对于 CRR，采用均值和最大优势估计，并使用二值函数以避免指数滤波带来的数值不稳定性。
• 对于 CQL，实现推荐的 LogSumExp 近似方法，并基于作者反馈引入额外采样（N≈50–100）和温度缩放，以提升正则项的准确性。
• 通过消融实验评估数据质量与算法选择的影响，包括超参数调优与实现保真度。
• 在简单环境（如 PointMaze-v0）和复杂环境上验证结果，以测试泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 离线数据集的质量（随机、中等、专家）如何影响 BC、CRR 和 CQL 的性能？
• RQ2 CQL 和 CRR 是否能在中等质量数据上超越生成数据的行为策略，尤其是在中等质量数据上？
• RQ3 为何 CQL 和 CRR 在不同环境和数据质量水平下表现出不一致的性能？
• RQ4 在高质量数据的连续控制设置中，行为克隆在多大程度上可作为可靠的基线？
• RQ5 在实现 CQL 时会遇到哪些实际挑战，这些挑战如何影响结果的可复现性与性能表现？

主要发现

• 行为克隆（BC）在所有数据集和环境中均表现稳定，尤其在连续控制任务中表现优异，是强大且稳健的基线方法。
• CQL 在离散动作空间的中等质量数据上表现强劲，甚至可超越行为策略，但在实践中表现出高度不稳定与超参数敏感性。
• CRR 在离散设置的中等质量数据上偶尔能超越行为策略，但在复杂连续控制任务中无法泛化。
• 在 PointMaze-v0 环境中，BC 和 CQL 均成功恢复了专家行为，而 CRR 却陷入局部最优，表明其泛化能力差。
• CQL 的正确实现极具挑战，因存在未记录的实现细节（如 N≈50–100 的采样数量与温度缩放），若未精细调优，将导致高方差并难以复现结果。
• 本研究揭示：不存在一种算法能始终优于其他方法；算法表现的成功与否关键取决于数据质量与环境复杂度，其中高质量数据对实现强大离线强化学习性能至关重要。