[论文解读] Tactical Optimism and Pessimism for Deep Reinforcement Learning

Ted Moskovitz, Jack Parker-Holder+3 more|arXiv (Cornell University)|Feb 7, 2021

Reinforcement Learning in Robotics参考文献 59被引用 11

一句话总结

本文提出战术乐观与悲观（TOP），一种新颖的深度演员-评论家框架，通过将选择过程建模为多臂赌博机问题，在训练过程中动态切换乐观与悲观的价值估计。TOP在具有挑战性的基于像素的连续控制任务上超越了固定乐观方法，并创下新的最先进性能记录，通过基于实时不确定性估计自适应地平衡探索与利用。

ABSTRACT

In recent years, deep off-policy actor-critic algorithms have become a dominant approach to reinforcement learning for continuous control. One of the primary drivers of this improved performance is the use of pessimistic value updates to address function approximation errors, which previously led to disappointing performance. However, a direct consequence of pessimism is reduced exploration, running counter to theoretical support for the efficacy of optimism in the face of uncertainty. So which approach is best? In this work, we show that the most effective degree of optimism can vary both across tasks and over the course of learning. Inspired by this insight, we introduce a novel deep actor-critic framework, Tactical Optimistic and Pessimistic (TOP) estimation, which switches between optimistic and pessimistic value learning online. This is achieved by formulating the selection as a multi-arm bandit problem. We show in a series of continuous control tasks that TOP outperforms existing methods which rely on a fixed degree of optimism, setting a new state of the art in challenging pixel-based environments. Since our changes are simple to implement, we believe these insights can easily be incorporated into a multitude of off-policy algorithms.

研究动机与目标

• 为解决深度强化学习中乐观与悲观之间的权衡问题，固定策略在多样化环境中限制了性能表现。
• 探究最优乐观程度是否在不同任务之间以及训练过程中发生变化，挑战‘一刀切’方法的假设。
• 开发一种实用、即插即用的方法，实现在无需大量超参数调优的情况下在线自适应调整价值估计策略。
• 证明基于厄拉托斯特尼不确定性（aleatoric）与认识论不确定性（epistemic）的自适应乐观/悲观策略，可实现更优的样本效率与最终性能。

提出的方法

• TOP将乐观程度的选择建模为多臂赌博机问题，其中每条臂对应一个不同的乐观超参数β值。
• 采用具有分位数表示的分布评论家，以建模环境回报中的厄拉托斯特尼不确定性。
• 通过评论家集合捕捉认识论不确定性，实现对价值函数方差的稳健估计。
• 赌博机算法基于每种乐观程度的性能反馈在线选择β，平衡估计策略的探索与利用。
• 该方法设计简洁，可轻松集成至现有离策略算法中，仅需少量代码修改。
• TOP在基于状态和基于像素的连续控制任务上，使用标准基准和基线方法进行评估。

实验结果

研究问题

• RQ1 在不同强化学习环境中，价值函数近似中的最优乐观程度是否有所不同？
• RQ2 对于给定环境，最优乐观程度是否在训练过程中发生变化？
• RQ3 一种能动态在乐观与悲观之间切换的策略，能否优于固定乐观或固定悲观的基线方法？
• RQ4 厄拉托斯特尼不确定性与认识论不确定性如何影响乐观性在价值估计中的有效性？

主要发现

• 在DeepMind Control Suite的六个任务中，TOP在所有任务上均优于最先进方法，包括RAD、DrQ、PI-SAC和CURL，在基于像素的基准上创下新的最先进性能记录。
• 在HalfCheetah环境中，TOP与固定乐观基线性能相当，表明其在有益时能成功采用更具乐观性的策略。
• 在Hopper环境中，TOP与固定悲观基线性能相当，表明其能在需要时自适应地采用更谨慎的策略。
• 在Ant环境中，TOP在训练中期从悲观动态转向乐观，展示了对变化不确定性非单调的适应能力。
• 基于赌博机的β选择策略，其性能至少与事后最佳固定β选择相当，验证了自适应策略的有效性。
• TOP仅通过极少量代码修改（如在RAD等现有算法中仅增加几行代码）即实现性能提升，具有广泛适用性。