[论文解读] Recurrent Model-Free RL is a Strong Baseline for Many POMDPs

Tianwei Ni, Benjamin Eysenbach+1 more|arXiv (Cornell University)|Oct 11, 2021

Fuzzy Logic and Control Systems被引用 8

一句话总结

该论文表明，通过精心设计的循环神经网络（RNN）来处理部分可观察环境中的记忆，一种基于循环的无模型强化学习智能体在多种部分可观察马尔可夫决策过程（POMDP）任务中，其性能与专用算法相当，甚至在某些情况下更优。作者将该方法确立为元强化学习（meta-RL）、鲁棒强化学习（robust RL）和泛化任务中的强大且通用的基线方法。

ABSTRACT

Many problems in RL, such as meta RL, robust RL, and generalization in RL, can be cast as POMDPs. In theory, simply augmenting model-free RL with memory, such as recurrent neural networks, provides a general approach to solving all types of POMDPs. However, prior work has found that such recurrent model-free RL methods tend to perform worse than more specialized algorithms that are designed for specific types of POMDPs. This paper revisits this claim. We find that careful architecture and hyperparameter decisions yield a recurrent model-free implementation that performs on par with (and occasionally substantially better than) more sophisticated recent techniques in their respective domains. We also release a simple and efficient implementation of recurrent model-free RL for future work to use as a baseline for POMDPs. Code is available at https://github.com/twni2016/pomdp-baselines

研究动机与目标

• 探究基于循环的无模型强化学习是否可作为各类POMDP的稳健、通用基线。
• 挑战当前普遍认为专用算法在POMDP中优于通用方法的观点。
• 识别对提升循环无模型强化学习性能具有显著影响的网络架构与超参数选择。
• 为未来POMDP研究提供一种简单、高效且可复用的实现方式。
• 证明记忆增强的无模型强化学习在元强化学习、鲁棒强化学习和泛化任务中可达到或超越当前最先进水平。

提出的方法

• 使用循环神经网络（RNN）维持隐藏状态以捕捉历史信息，使智能体能够处理部分可观察性问题。
• 应用标准的无模型强化学习算法（如PPO、SAC），并采用基于RNN的策略网络和价值网络。
• 通过仔细的超参数调优与架构设计（如残差连接、归一化）提升训练稳定性。
• 使用策略梯度或异策略算法并结合经验回放，端到端训练RNN策略网络。
• 在多种POMDP基准环境上验证性能，涵盖元强化学习、鲁棒强化学习和泛化任务。
• 在GitHub上发布轻量级、高效的实现代码，以确保可复现性并供未来作为基线使用。

实验结果

研究问题

• RQ1 通用的循环无模型强化学习智能体是否能在POMDP中超越专用算法？
• RQ2 在循环无模型强化学习中，哪些架构与超参数选择对实现优异性能至关重要？
• RQ3 在元强化学习、鲁棒强化学习和泛化任务中，循环无模型强化学习与当前最先进方法相比如何？
• RQ4 一个统一的架构是否可作为多种POMDP设置下的强大基线？
• RQ5 通过精心设计基于RNN的策略网络，可在训练稳定性和性能方面实现哪些改进？

主要发现

• 在多个POMDP基准中，循环无模型强化学习智能体的性能与专用算法相当，甚至更优。
• 在合适的架构设计与超参数调优下，循环无模型强化学习在元强化学习、鲁棒强化学习和泛化任务中均成为具有竞争力的基线方法。
• 在部分环境（尤其是泛化与鲁棒性设置）中，该方法优于专用基线。
• 作者证明，以往循环无模型强化学习表现不佳的原因是实现不够优化，而非其内在局限。
• 发布的代码库为未来POMDP研究提供了可靠、高效且可复用的基线。
• 结果表明，记忆增强的无模型强化学习应被重新考虑为POMDP任务的默认基线。