[论文解读] On Optimism in Model-Based Reinforcement Learning.

Aldo Pacchiano, Philip Ball+3 more|arXiv (Cornell University)|Jun 21, 2020

Advanced Bandit Algorithms Research参考文献 63被引用 14

一句话总结

本文提出了一种在基于模型的强化学习中使用噪声增强马尔可夫决策过程（MDPs）的可处理乐观机制，实现了理论上的遗憾边界，并可在深度强化学习中实际部署。通过向 MDP 动力学中注入高斯噪声，该方法实现了 $\tilde{\mathcal{O}}(|\mathcal{S}|H\sqrt{|\mathcal{S}||\mathcal{A}|T})$ 的遗憾边界，弥合了深度强化学习中理论与实践之间的差距。

ABSTRACT

The principle of optimism in the face of uncertainty is prevalent throughout sequential decision making problems such as multi-armed bandits and reinforcement learning (RL), often coming with strong theoretical guarantees. However, it remains a challenge to scale these approaches to the deep RL paradigm, which has achieved a great deal of attention in recent years. In this paper, we introduce a tractable approach to optimism via noise augmented Markov Decision Processes (MDPs), which we show can obtain a competitive regret bound: $ ilde{\mathcal{O}}( |\mathcal{S}|H\sqrt{|\mathcal{S}||\mathcal{A}| T } )$ when augmenting using Gaussian noise, where $T$ is the total number of environment steps. This tractability allows us to apply our approach to the deep RL setting, where we rigorously evaluate the key factors for success of optimistic model-based RL algorithms, bridging the gap between theory and practice.

研究动机与目标

• 为解决将基于乐观性的方法扩展到深度强化学习时缺乏理论保证的挑战。
• 开发一种可处理且实用的方法，将乐观性整合到基于模型的强化学习中，并具备可证明的遗憾边界。
• 弥合 MDP 中理论乐观性与现实世界深度强化学习应用之间的差距。
• 评估影响基于乐观性的模型化强化学习在深度学习设置中成功的关键因素。

提出的方法

• 该方法通过使用高斯噪声扰动环境动力学，在噪声增强马尔可夫决策过程（MDPs）中引入乐观性。
• 噪声注入将原始 MDP 转换为一个新的 MDP，使得乐观规划变得可处理且可分析。
• 在高斯噪声增强下，该方法推导出 $\tilde{\mathcal{O}}(|\mathcal{S}|H\sqrt{|\mathcal{S}||\mathcal{A}|T})$ 的遗憾边界。
• 该框架设计为与深度神经网络兼容，支持集成到深度强化学习流水线中。
• 该方法使得在基于模型的强化学习中使用乐观规划成为可能，而无需显式探索奖励或复杂的探索策略。

实验结果

研究问题

• RQ1 基于模型的强化学习中的乐观性是否可以实现可处理且可扩展到深度强化学习设置？
• RQ2 在使用噪声增强 MDP 时，基于乐观性的方法的理论遗憾边界是什么？
• RQ3 诸如噪声类型和幅度等关键设计选择如何影响深度强化学习中乐观模型化强化学习的性能？
• RQ4 噪声增强 MDP 在多大程度上弥合了理论乐观性与实际深度强化学习算法之间的差距？

主要发现

• 当使用高斯噪声时，噪声增强 MDP 框架实现了 $\tilde{\mathcal{O}}(|\mathcal{S}|H\sqrt{|\mathcal{S}||\mathcal{A}|T})$ 的遗憾边界，提供了强有力的理论保证。
• 由于其可处理的公式化设计，该方法可扩展到深度强化学习，支持在复杂环境中实际部署。
• 该方法成功地将理论乐观性与实际的基于模型的强化学习相结合，为深度强化学习中的原则性探索提供了路径。
• 该框架允许对影响乐观模型化强化学习的关键因素（如噪声分布和模型不确定性）进行严格评估。