[论文解读] Revisiting Design Choices in Model-Based Offline Reinforcement Learning.

Cong Lu, Philip Ball+3 more|arXiv (Cornell University)|Oct 8, 2021

Reinforcement Learning in Robotics参考文献 45被引用 4

一句话总结

本文通过对比不确定性启发式方法与超参数配置，重新评估了基于模型的离线强化学习中的设计选择，通过系统的消融实验与贝叶斯优化，表明性能更优的配置与当前最先进（SOTA）的手动调优设置存在显著差异，尤其是在模型数量和滚动预测时域方面。

ABSTRACT

Offline reinforcement learning enables agents to leverage large pre-collected datasets of environment transitions to learn control policies, circumventing the need for potentially expensive or unsafe online data collection. Significant progress has been made recently in offline model-based reinforcement learning, approaches which leverage a learned dynamics model. This typically involves constructing a probabilistic model, and using the model uncertainty to penalize rewards where there is insufficient data, solving for a pessimistic MDP that lower bounds the true MDP. Existing methods, however, exhibit a breakdown between theory and practice, whereby pessimistic return ought to be bounded by the total variation distance of the model from the true dynamics, but is instead implemented through a penalty based on estimated model uncertainty. This has spawned a variety of uncertainty heuristics, with little to no comparison between differing approaches. In this paper, we compare these heuristics, and design novel protocols to investigate their interaction with other hyperparameters, such as the number of models, or imaginary rollout horizon. Using these insights, we show that selecting these key hyperparameters using Bayesian Optimization produces superior configurations that are vastly different to those currently used in existing hand-tuned state-of-the-art methods, and result in drastically stronger performance.

研究动机与目标

• 探究基于模型不确定性的启发式方法在离线模型化强化学习中的实际实现与悲观回报理论边界之间的脱节问题。
• 评估不确定性启发式方法与关键超参数（如模型数量和想象滚动时域）之间的相互作用。
• 识别出优于现有手动调优最先进方法的最优超参数配置。
• 证明贝叶斯优化能够在离线模型化强化学习中发现高性能且非直观的配置。

提出的方法

• 作者设计了新颖的评估协议，以系统性地评估不同超参数下不确定性启发式方法对性能的影响。
• 在悲观回报正则化背景下，对比了多种不确定性估计方法，如蒙特卡洛丢弃和基于集成的不确定性。
• 采用贝叶斯优化框架，在超参数空间（包括模型数量和滚动时域）中进行搜索，以识别最优配置。
• 该方法使用学习到的动力学模型与基于不确定性的悲观性，在标准离线强化学习基准上评估性能。
• 通过控制其他变量，隔离每个超参数的影响，实现对设计选择的消融分析。

实验结果

研究问题

• RQ1 在不同超参数设置下，不同的不确定性启发式方法如何影响离线模型化强化学习的性能？
• RQ2 不确定性启发式方法与关键超参数（如模型数量和滚动时域）之间存在何种交互效应？
• RQ3 贝叶斯优化能否发现显著优于现有手动调优SOTA方法的超参数配置？
• RQ4 当前的手动调优配置与通过系统性搜索识别出的最优设置之间在多大程度上存在偏差？

主要发现

• 研究发现，当前最先进方法中的手动调优超参数配置并非最优，且与通过贝叶斯优化发现的配置存在显著差异。
• 通过贝叶斯优化识别出的最优配置相比现有SOTA方法带来了显著更强的性能表现。
• 不确定性启发式方法与模型数量、滚动时域等超参数之间的交互作用对最终性能具有重大影响。
• 结果表明，基于总变差距离的理论边界未被当前的不确定性启发式方法有效捕捉，表明实际实现中存在差距。