[论文解读] Revisiting Design Choices in Offline Model-Based Reinforcement Learning

Cong Lu, Philip Ball+3 more|arXiv (Cornell University)|Oct 8, 2021

Reinforcement Learning in Robotics被引用 6

一句话总结

本文重新审视了离线模型化强化学习中的核心设计选择，特别是不确定性估计与超参数调优。通过引入新颖的评估协议并使用贝叶斯优化，作者识别出显著优于现有最先进方法（如MOPO和COMBO）的超参数配置，在MuJoCo和Adroit基准测试中实现最高达43%的性能提升，主要得益于改进的不确定性估计与系统化的超参数选择。

ABSTRACT

Offline reinforcement learning enables agents to leverage large pre-collected datasets of environment transitions to learn control policies, circumventing the need for potentially expensive or unsafe online data collection. Significant progress has been made recently in offline model-based reinforcement learning, approaches which leverage a learned dynamics model. This typically involves constructing a probabilistic model, and using the model uncertainty to penalize rewards where there is insufficient data, solving for a pessimistic MDP that lower bounds the true MDP. Existing methods, however, exhibit a breakdown between theory and practice, whereby pessimistic return ought to be bounded by the total variation distance of the model from the true dynamics, but is instead implemented through a penalty based on estimated model uncertainty. This has spawned a variety of uncertainty heuristics, with little to no comparison between differing approaches. In this paper, we compare these heuristics, and design novel protocols to investigate their interaction with other hyperparameters, such as the number of models, or imaginary rollout horizon. Using these insights, we show that selecting these key hyperparameters using Bayesian Optimization produces superior configurations that are vastly different to those currently used in existing hand-tuned state-of-the-art methods, and result in drastically stronger performance.

研究动机与目标

• 探究理论保证与离线模型化强化学习实际实现之间的脱节，特别是关于不确定性惩罚方面。
• 评估各种不确定性启发式方法在捕捉模型化滚动过程中由模型化轨迹引发的协变量偏移下真实动态误差的有效性。
• 研究不确定性度量与关键超参数（如模型数量和想象轨迹长度）之间的相互作用。
• 开发新的评估协议，以更真实地反映离线MBRL中模型利用的实际挑战。
• 证明通过贝叶斯优化识别出的最优超参数配置可在多种环境中实现更优且稳定的性能，包括稀疏奖励的精细操作任务。

提出的方法

• 提出一种新评估协议，可隔离并测量在协变量偏移下模型利用的情况，从而实现对不确定性校准的准确评估。
• 将多种不确定性启发式方法（包括集成方差、偶然不确定性及在线强化学习度量）与滚动过程中的真实动态误差进行对比。
• 采用贝叶斯优化联合调优关键超参数：模型数量、轨迹长度与惩罚系数，以性能作为目标函数。
• 引入一种基于rliable库的新基准测试框架，以确保性能比较的统计可靠性与鲁棒性。
• 在多种环境中验证研究结果，包括MuJoCo运动控制任务和具有稀疏奖励与人类示范的Adroit精细操作任务。
• 采用基于不确定性的惩罚项的悲观MDP公式，以防止策略对不准确模型区域的利用，同时系统性地测试不同惩罚类型的影响。

实验结果

研究问题

• RQ1 在模型滚动条件下，现有离线MBRL中的不确定性启发式方法与实际动态误差的相关性如何？
• RQ2 不确定性度量与关键超参数（如模型数量与想象轨迹长度）之间存在何种交互效应？
• RQ3 贝叶斯优化能否识别出显著优于人工调优的最先进方法的超参数配置？
• RQ4 不同不确定性惩罚在多样化环境（包括稀疏奖励与狭窄数据分布环境）中的泛化能力如何？
• RQ5 在现实场景（如精细操作）中，不确定性度量的选择如何影响策略的稳定性和最终性能？

主要发现

• 在滚动过程中，标准的集成方差惩罚与真实动态误差的相关性最强，优于其他不确定性启发式方法，能更准确捕捉模型不准确性。
• 通过贝叶斯优化调优超参数，在所有环境中相较先前使用网格搜索的方法实现43%的性能提升，且在rliable框架下结果具有统计显著性。
• 通过贝叶斯优化识别出的最优超参数与现有最先进方法（如MOPO和COMBO）所使用的参数存在显著差异，表明当前人工调优实践存在偏差。
• 改进的方法在Adroit Pen和Hammer环境中达到最先进性能——这些任务此前在离线MBRL中研究不足，甚至在某些设置下超越了无模型的CQL方法。
• 采用优化配置训练的策略在训练过程中表现出更高的稳定性，无需挑选高性能检查点，从而增强了在真实世界部署中的可靠性。
• 本研究证实，更优的不确定性估计与超参数选择对于离线MBRL的成功至关重要，尤其在数据多样性有限、挑战性高的稀疏奖励环境中。