[论文解读] Optimistic Exploration even with a Pessimistic Initialisation

Tabish Rashid, Bei Peng+2 more|arXiv (Cornell University)|Feb 26, 2020

Reinforcement Learning in Robotics参考文献 37被引用 13

一句话总结

该论文提出 OPIQ，一种无需模型的强化学习算法，通过将计数基础的乐观奖励加至悲观初始化的 Q 值上，确保深度强化学习中的高效探索，从而在不依赖乐观网络权重初始化的情况下实现可证明的高效探索。OPIQ 在动作选择和自举（bootstrapping）过程中均保持乐观性，相较于使用内在动机的基线 DQN，在稀疏奖励环境（如 Montezuma’s Revenge）中表现更优。

ABSTRACT

Optimistic initialisation is an effective strategy for efficient exploration in reinforcement learning (RL). In the tabular case, all provably efficient model-free algorithms rely on it. However, model-free deep RL algorithms do not use optimistic initialisation despite taking inspiration from these provably efficient tabular algorithms. In particular, in scenarios with only positive rewards, Q-values are initialised at their lowest possible values due to commonly used network initialisation schemes, a pessimistic initialisation. Merely initialising the network to output optimistic Q-values is not enough, since we cannot ensure that they remain optimistic for novel state-action pairs, which is crucial for exploration. We propose a simple count-based augmentation to pessimistically initialised Q-values that separates the source of optimism from the neural network. We show that this scheme is provably efficient in the tabular setting and extend it to the deep RL setting. Our algorithm, Optimistic Pessimistically Initialised Q-Learning (OPIQ), augments the Q-value estimates of a DQN-based agent with count-derived bonuses to ensure optimism during both action selection and bootstrapping. We show that OPIQ outperforms non-optimistic DQN variants that utilise a pseudocount-based intrinsic motivation in hard exploration tasks, and that it predicts optimistic estimates for novel state-action pairs.

研究动机与目标

• 解决尽管在可证明高效的表格型算法中至关重要，但在深度强化学习中缺乏乐观初始化的问题。
• 确保在神经网络悲观初始化的情况下，对新状态-动作对的 Q 值估计仍保持乐观。
• 开发一种在动作选择和自举过程中均保持乐观的方法，以提升高维环境中的探索效率。
• 通过将乐观性与网络权重解耦，将可证明高效的表格型算法扩展至深度强化学习。
• 证明当正确集成到 Q-learning 中时，基于计数的奖励可为探索提供足够的乐观性。

提出的方法

• OPIQ 使用基于计数的增强方法对悲观初始化的 Q 值进行修正：$ Q^{+}(s,a) := Q(s,a) + \frac{C}{(N(s,a)+1)^M} $，其中 $ N(s,a) $ 为访问次数，$ C, M > 0 $ 为超参数。
• 增强后的 $ Q^{+} $-值同时用于动作选择和自举，确保在整个学习过程中保持乐观性。
• 该方法基于 UCB-H 算法（一种可证明高效的表格型 Q-learning 算法），但以悲观初始化和基于计数的乐观性替代了原有的乐观初始化。
• 在深度强化学习中，OPIQ 与现有的状态-动作计数方法（如伪计数）集成，以在高维空间中估计 $ N(s,a) $。
• 该算法避免依赖网络权重初始化来实现乐观性，而是将乐观性的来源与神经网络权重解耦。
• OPIQ 设计为与标准 DQN 架构兼容，可与 n 步自举和优先经验回放结合使用。

实验结果

研究问题

• RQ1 一种无模型的深度强化学习算法是否能在不依赖乐观网络初始化的情况下实现可证明的高效探索？
• RQ2 在动作选择和自举过程中均保持乐观性是否能显著提升稀疏奖励环境中的探索性能？
• RQ3 即使 Q 值被悲观初始化，基于计数的奖励是否仍能为新状态-动作对提供足够的乐观性？
• RQ4 与仅在奖励信号中使用奖励的内在动机方法相比，OPIQ 的表现如何？
• RQ5 在 Montezuma’s Revenge 等复杂环境中，自举过程中的乐观性在多大程度上提升了样本效率和最终性能？

主要发现

• 在 Montezuma’s Revenge 环境中，OPIQ 显著优于使用伪计数的 DQN，实现了更高的回合奖励和最大回合奖励。
• OPIQ 在 1250 万次时间步内访问了 12 个房间，远超其他基线方法，表明其探索能力更优。
• DQN + PC 与无乐观奖励的 OPIQ（OPIQ w/o OB）之间的性能差距显著，表明动作选择过程中的乐观性对探索至关重要。
• 可视化结果证实，OPIQ 的 $ Q^{+} $-值能为新状态-动作对提供乐观估计，从而驱动探索。
• 在 Maze 环境中，使用乐观奖励的 OPIQ 超过所有消融实验，包括使用伪计数的模型，表明自举过程中的乐观性至关重要。
• 结果表明，仅靠基于计数的内在奖励不足以实现高效探索，而 OPIQ 在动作选择和自举中双重使用乐观性，表现出极高的有效性。