[论文解读] Why So Pessimistic? Estimating Uncertainties for Offline RL through Ensembles, and Why Their Independence Matters

Seyed Kamyar Seyed Ghasemipour, Shixiang Gu+1 more|arXiv (Cornell University)|May 27, 2022

Reinforcement Learning in Robotics被引用 7

一句话总结

本文识别出基于集成的离线强化学习中一个关键缺陷：跨Q网络共享的悲观目标会悖论性地导致乐观值估计。为解决此问题，作者提出MSG（模型标准差梯度），一种通过为每个Q网络独立训练并使用独立目标来实现可靠下界置信度（LCB）估计的算法。MSG在具有挑战性的D4RL和RL Unplugged基准测试中达到最先进性能，尤其在antmaze环境中表现突出，消融实验也证实了独立集成的必要性。

ABSTRACT

Motivated by the success of ensembles for uncertainty estimation in supervised learning, we take a renewed look at how ensembles of $Q$-functions can be leveraged as the primary source of pessimism for offline reinforcement learning (RL). We begin by identifying a critical flaw in a popular algorithmic choice used by many ensemble-based RL algorithms, namely the use of shared pessimistic target values when computing each ensemble member's Bellman error. Through theoretical analyses and construction of examples in toy MDPs, we demonstrate that shared pessimistic targets can paradoxically lead to value estimates that are effectively optimistic. Given this result, we propose MSG, a practical offline RL algorithm that trains an ensemble of $Q$-functions with independently computed targets based on completely separate networks, and optimizes a policy with respect to the lower confidence bound of predicted action values. Our experiments on the popular D4RL and RL Unplugged offline RL benchmarks demonstrate that on challenging domains such as antmazes, MSG with deep ensembles surpasses highly well-tuned state-of-the-art methods by a wide margin. Additionally, through ablations on benchmarks domains, we verify the critical significance of using independently trained $Q$-functions, and study the role of ensemble size. Finally, as using separate networks per ensemble member can become computationally costly with larger neural network architectures, we investigate whether efficient ensemble approximations developed for supervised learning can be similarly effective, and demonstrate that they do not match the performance and robustness of MSG with separate networks, highlighting the need for new efforts into efficient uncertainty estimation directed at RL.

研究动机与目标

• 调查现有基于集成的离线强化学习方法中使用共享悲观目标进行Q函数训练的根本缺陷。
• 理解为何共享目标会导致乐观值估计，尽管离线强化学习的目标是悲观性。
• 开发一种新算法，通过为Q网络独立训练并使用独立目标，确保悲观性。
• 通过实证验证，独立集成相较于共享或近似集成方法，能提供更鲁棒和准确的不确定性估计。
• 评估监督学习中高效的集成近似方法在离线强化学习中的有效性，并识别出对强化学习专用新方法的需求。

提出的方法

• 提出MSG，一种离线强化学习算法，通过为每个Q网络成员使用独立的目标网络，实现Q网络集合的独立训练，避免共享悲观目标。
• 将Q集合的下界置信度（LCB）计算为所有Q网络预测值的均值减去标准差。
• 使用动作值的LCB来优化策略，通过偏好保守值估计来确保悲观性。
• 为每个Q网络使用独立的目标网络，确保集合的不确定性估计真正具有悲观性，而不受共享目标计算的偏差影响。
• 在标准离线强化学习基准（D4RL和RL Unplugged）上应用该方法，使用深度神经网络，并对集成规模和训练独立性的影响进行消融分析。
• 研究监督学习中高效集成近似方法在离线强化学习情境下的有效性，与完整独立训练进行比较。

实验结果

研究问题

• RQ1 在集成方法中，对Q网络共享悲观目标是否会导致乐观值估计，从而破坏离线强化学习中悲观性的目标？
• RQ2 通过为Q网络独立训练并使用独立目标，是否能产生更可靠且真正悲观的不确定性估计？
• RQ3 MSG在antmaze等具有挑战性的基准测试中的性能与最先进离线强化学习算法相比如何？
• RQ4 集成规模和训练独立性对离线强化学习中不确定性估计的鲁棒性和性能有何影响？
• RQ5 监督学习中的高效集成近似方法能否有效迁移至离线强化学习，还是必须采用完整独立训练才能实现可靠的不确定性估计？

主要发现

• 通过理论分析和小规模MDP示例证明，Q集成中使用共享悲观目标会导致悖论性的乐观值估计。
• MSG通过为Q网络独立训练并使用独立目标，在D4RL和RL Unplugged基准测试中达到最先进性能，尤其在具有挑战性的antmaze环境中表现优异。
• 消融实验确认，集成成员的独立训练至关重要——使用共享目标或近似方法的模型无法维持悲观性，且性能较差。
• 更大的集成规模可提升性能，且独立训练的优势在不同网络架构和环境中保持一致。
• 监督学习中高效的集成近似方法无法达到MSG使用独立网络的性能和鲁棒性，表明需要开发面向强化学习的新不确定性估计方法。
• 所提方法在antmaze任务上远超高度调优的基线模型，证明了正确估计悲观性的实际影响。