[论文解读] Provable and Practical: Efficient Exploration in Reinforcement Learning via Langevin Monte Carlo

Haque Ishfaq, Qingfeng Lan+5 more|arXiv (Cornell University)|May 29, 2023

Reinforcement Learning in Robotics被引用 5

一句话总结

该论文提出了一种名为Langevin Monte Carlo Least-Squares Value Iteration（LMC-LSVI）的可证明高效的探索方法，用于强化学习。该方法通过Langevin Monte Carlo直接从Q函数的后验分布中采样，避免了高斯近似。在线性MDP中，其遗憾界为$\widetilde{O}(d^{3/2}H^{5/2}\sqrt{T})$，并在使用预训练Adam变体Adam LMCDQN时，在Atari57任务上优于当前最先进的深度强化学习算法。

ABSTRACT

We present a scalable and effective exploration strategy based on Thompson sampling for reinforcement learning (RL). One of the key shortcomings of existing Thompson sampling algorithms is the need to perform a Gaussian approximation of the posterior distribution, which is not a good surrogate in most practical settings. We instead directly sample the Q function from its posterior distribution, by using Langevin Monte Carlo, an efficient type of Markov Chain Monte Carlo (MCMC) method. Our method only needs to perform noisy gradient descent updates to learn the exact posterior distribution of the Q function, which makes our approach easy to deploy in deep RL. We provide a rigorous theoretical analysis for the proposed method and demonstrate that, in the linear Markov decision process (linear MDP) setting, it has a regret bound of $ ilde{O}(d^{3/2}H^{3/2}\sqrt{T})$, where $d$ is the dimension of the feature mapping, $H$ is the planning horizon, and $T$ is the total number of steps. We apply this approach to deep RL, by using Adam optimizer to perform gradient updates. Our approach achieves better or similar results compared with state-of-the-art deep RL algorithms on several challenging exploration tasks from the Atari57 suite.

研究动机与目标

• 解决现有Thompson采样方法在Q函数后验分布上依赖于较差高斯近似的问题。
• 为深度强化学习开发一种可扩展且实用的探索策略，同时保持理论保证。
• 通过Langevin Monte Carlo实现Q函数的直接后验采样，避免对后验结构的严格假设。
• 在保持高维深度强化学习设置中可部署性的前提下，实现线性MDP中的可证明次线性遗憾。
• 在Atari57等具有挑战性的探索基准上，实证证明优于当前最先进的深度强化学习算法。

提出的方法

• 使用Langevin Monte Carlo（LMC），一种马氏链蒙特卡洛方法，直接从Q函数的真实后验分布中采样，避免高斯近似。
• 通过随机梯度Langevin动力学（SGLD）应用带噪声的梯度更新，以近似后验分布，实现在深度强化学习中的可扩展后验采样。
• 提出LMC-LSVI作为一种合理的在线强化学习算法，通过迭代的带噪声Q函数估计更新实现后验采样。
• 提出Adam LMCDQN，一种使用Adam优化器的预训练变体，以稳定训练并在高维策略空间中提升收敛性。
• 采用双Q网络架构，以减少Q值估计中的过度估计偏差，提升稳定性和性能。
• 在SGLD中使用逆温度和偏差因子超参数，以控制探索噪声，并在利用与探索之间取得平衡。

实验结果

研究问题

• RQ1 通过Langevin Monte Carlo对Q函数进行直接后验采样，是否能在深度强化学习中实现可证明高效的探索？
• RQ2 避免对后验分布的高斯近似，是否能提升复杂高维强化学习环境中的样本效率和性能？
• RQ3 基于LMC的探索方法在线性MDP设置下的理论遗憾界是什么？其随维度和时域的缩放关系如何？
• RQ4 使用Adam的预训练SGLD是否能提升深度Q网络的收敛性和性能，同时保持探索保证？
• RQ5 所提出方法在Atari57等具有挑战性的探索基准上，与当前最先进的深度强化学习算法相比如何？

主要发现

• 所提出的LMC-LSVI算法在在线性MDP中实现了$\widetilde{O}(d^{3/2}H^{5/2}\sqrt{T})$的遗憾界，其在特征维度$d$上的依赖关系为最优。
• 使用Adam优化器的预训练变体Adam LMCDQN在Atari57基准套件中实现了优于或相当的性能，与当前最先进的深度强化学习算法相比。
• 该方法在大多数Atari游戏中优于Langevin DQN，证明了Adam预训练在探索中的有效性。
• 实证结果表明，即使不使用双Q网络，Adam LMCDQN的性能也仅略有下降，表明其对网络架构选择具有鲁棒性。
• 超参数调优表明，逆温度$\beta_k$和偏差因子$a$显著影响性能，其中$\beta_k = 10^{16}$和$a = 1.0$可获得优异结果。